Skeleton for Apex Support

JIRA: None

Plumbing for the automatic installation of Apex.
Doesn't actually do anything yet.

Change-Id: I5c83fdd89d0b8a0a70b2f513b20a649de030a575
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Experimental Compass Support

JIRA: None

Very basic compass support.
Just runs the compass ./quickstart.sh script

Change-Id: I8ddb1aab83ae20c1eae997b6e5cd637ec4dcfed1
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Experimental JOID Support

JIRA: None

Adds experimental support for automatically installing joid.
Only works with virtual deployments currently.

Change-Id: I4536c694c0008f9a5537a89b00871bc6a05301db
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Experimental Fuel Support

JIRA: None

Adds a workflow and actions that (tries to) install fuel.
Currently only works with virtual deployments.

Change-Id: Iac18fbd5df6ed262e623feb627ac58ec43f0a66d
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Allows for manual addition of bookings

JIRA: None

The added action takes a booking id from the dashboard and manually adds it
to the list of bookings it tracks. This allows us to have a much easier transition
to using a fully automated system after manually tracking all bookings.

Change-Id: I83ebe2a4aabad2ce7d59b3d80659fc6438fda7f4
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds update workflow

JIRA: None

Adds a workflow and code that installs the chosen operating system on
a free host, updates it, and captures the new disk image.
This ensures that when we provision a new host, it is relatively up to date.

Change-Id: I553e4c8c1715add47ebfe7d853f884f242813ab2
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds workflows to deploy and clean hosts

JIRA: PHAROS-322
JIRA: PHAROS-333

Adds the workflows that deploy a host on the start of a booking
and cleans the host at the end of the booking automatically.

Change-Id: Ice1477df5caf12386402528c4e59637bf0f46670
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds Credential Manipulation

JIRA: PHAROS-327

Adds password_workflow, which sets a random password on the given host
and stores it encrypted in the datastore.

Also provides the actions to create and delete vpn users. Access information
is stored encrypted in the datastore.

Once the dashboard has email capabilities, we can automatically send out this info
and not have to store it. At the moment though, we have no other way to automatically
generate it and still be able to (manually) pass that info to the developer who books the pod.

Change-Id: I3e4fcfef748f20878bd7603f8ed1a0c7557c0763
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds ability to capture and image hosts

JIRA: PHAROS-322

Adds the action metadata files, action code, and workflow definitions
that allows us to image a selected host with any disk image or operating system.

For example, to install ubuntu on host "pod4", run

st2 run pharoslaas.fog_imageWorkflow host=pod4 os=ubuntu

Change-Id: I9cb0bf031f19313b3b9ad6c5e3ed11dff4ea2039
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Added sensor and rules

JIRA: PHAROS-318

Adds pharos.py which talks with the pharos dashboard to detect when bookings
are created and stores the needed information in the stackstorm datastore.
By default, the sensor will poll the dashboard every 30 seconds to check for changes.

The dashboard sensor will dispatch the triggers defined in dashboard_listener.yaml.

The rules in rules/* links the triggers thrown by the api sensor to workflows which will
do the work of deploying / cleaning the hosts.

Change-Id: I7411a16ebbb48739a8f1f5b924dea6493c400071
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Initial Commit for new LaaS Software

JIRA: PHAROS-318

The old code I had in here was super beta and no good. I reworked the code
to use Stackstorm instead of trying to roll my own automation services.
This commit adds a README, install scripts, and the skeleton of a stackstorm
pack

Change-Id: Ia1c0c29e23316ad0e635c9c181c9a68fdacee664
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Merge "Add Boolean Option for Dev Pod in API"

Merge "Fix Gitignore for Oauth Keys"

Merge "Integrate Initial Email Support"

Add Boolean Option for Dev Pod in API

Change-Id: I4f0a0fc0ac5d81ae9454e6cece060032f9b806f7
JIRA: None

Integrate Initial Email Support

JIRA: None

Integrate ability for users to change email presented to admins
with field initially filled with user's Jira associated email address
This amend takes into account a streamlining change
suggested by Parker Berbarian

Change-Id: I677ce669f200e5cad70c198737118f0b7925bac5
Signed-off-by: Sawyer Bergeron <sbergeron@iol.unh.edu>

Merge "Abstract Hard-Coded URLs to Config File"

Fix Gitignore for Oauth Keys

JIRA: None

Gitignore file now properly ignores src/account/rsa.pem
and src/account/rsa.pub

Change-Id: I370a7d68cd2726540e4c7c294cc2de779f854f7a
Signed-off-by: Sawyer Bergeron <sbergeron@iol.unh.edu>

Abstract Hard-Coded URLs to Config File

JIRA: PHAROS-317

The Jenkins URL configuration now works the same as the Jira URL configuration,
with a base URL in the config.env file, with settings.py calculating the final URLs
to be used in adapter.py.

Change-Id: I79b4784ab39afdb789a24e4c0f1e8a3ae3566421
Signed-off-by: Sawyer Bergeron <sbergeron@iol.unh.edu>

Add 'staticfiles' Template Tag to Base Template

Without this tag the dashboard HTML will fail to render because it
doesn't have a reference to the 'static' template tag.

Change-Id: Id56d3b460dc848508c8ae549e7781ea876bdc52b
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Serve the OPNFV Logo Locally

Because the logo is currently being pulled from an external HTTP site,
the site is being listed as insecure.

Adding the OPNFV logo to static content should fix the warning and keep
the previous error of the logo being moved from happening.

Change-Id: I13cf83aa612f5589e304699f808ff7b105611fc4
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Rename pharos-dashboard and pharos-validator

As subdirectories of the pharos-tools repo, there is little need to keep
the pharos prefix.

Change-Id: Ica3d79411f409df638647300036c0664183c2725
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Adds various conveniences for hosters."

Merge "Adds Experimental support for Joid"

Merge "Adds VPN Handler"

Merge "Adds configuration files"

Merge "Bash scripts for remote host deployment"

Merge "Add Dashboard Listener"

Merge "Adds SQLite DataBase"

Merge "Adds Fuel Installation Capability"

Merge "Adds Libvirt Handler"

Merge "Adds the Free and Open-source Ghost (FOG)"

Merge "LaaS Base functionality"

Merge "Fix Booking API"

Adds various conveniences for hosters.

JIRA: N/A

Adds documentation, as well as:
source/stop.sh: stops the pharos listener and any running deployment
source/deploy.sh: manually starts a deployment on the given host

Patchset2: improved and updated README

Change-Id: I918ca3bdf03a32f7a16d851d7ea7ebc968d66720
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds Experimental support for Joid

JIRA: N/A

Adds a joid installer object, and needed configuration / scripts.

Currently, this only works with a no-ha scenario.

Change-Id: Ib3076d0341e47d3bebe89ae1b22e87547fe3f524
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds VPN Handler

JIRA: N/A

adds a vpn handler in source/api/vpn.py
vpn.py contains a formal interface definition as well as a specific
implementation using LDAP. If your lab's vpn does not use LDAP, you may
create a new vpn handler that properly extends the abstract vpn class
and it should be fine.

Change-Id: I31e8d8477dfed913c4da864d3ff3b49e988d64b1
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds configuration files

JIRA: N/A

Adds yaml files in conf/ to fit the laas software into your lab
infrastructure.
Each installer (Fuel, joid, etc) will also have their own config file,
which will point also to their own network and domain config file.

Change-Id: I0bcd57399b9f3f12aa351604fd03ae92de1ba93b
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Bash scripts for remote host deployment

JIRA: N/A

Adds various scripts into hostscripts/ to make the deployment
easier.
The whole hostscripts directory is copied to the remote host during
deployment.
mkDisks will create needed virtual disks
vncAllow punches a hole in the firewall to allow a vnc connection
    (useful for debugging)
ipnat.sh uses iptables to NAT out an isolated virtual machine
    to access horizon, for example

Change-Id: I25c23c0c4893838e58ba1cd7baaa5347de4ef47f
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Add Dashboard Listener

JIRA: N/A

Adds source/pharos.py, which will periodically poll the paros
dashboard api to see if any new bookings have started on and of your
dev pods. If a new booking is starting, a deployment will be
started for that pod.

source/listen.py starts the pharos listener in a background
process, so that it will not eat your terminal.

Change-Id: Icbce4453c772f04215f25534606456caa1012f5a
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds SQLite DataBase

JIRA: N/A

Adds a database handler in source/database.py to store all
hosts and to store any bookings coming from the dashboard.
source/resetDataBase will clean the db and try to repopulate it
with information from the FOG server.

Change-Id: I14537452d8566db17787f116018f45bb1ddd75ba
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds Fuel Installation Capability

JIRA: N/A

Adds the ability to automatically install and deploy Fuel onto
a remote host.
the hostScripts/fuelInstall.sh script boots the master machine
and uses the fuel iso to install fuel to the machine.
the source/installers/fuel.py then uses the source/api/fuel_api
handler to configure and deploy fuel.
Running:
    Fuel_Installer(domains,networks,libvirt,utility).go()
Will install fuel and deploy Openstack on top of Fuel
assuming the host is properly configured.

Change-Id: I41aee773b27b893311c945221b93eacf36aa83cc
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds Libvirt Handler

JIRA: N/A

Adds a handler which can control the libvirt hypervisor
on the remote host, in order to define the vm's and networks
that are needed for an OPNFV deployment.
Also adds the domain and network objects, which are simple abstractions
of virtual machines and networks.

Change-Id: Ia836e7b080b8bca220d5fdf6eb72b6c580cab4d1
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds the Free and Open-source Ghost (FOG)

JIRA: N/A

Adds a handler which will talk with the REST api
running on the FOG server.
This allows the pod_manager to ghost images onto hosts
in order to prep them for deployment and clean them afterwards.

Change-Id: Ic00e992874ca3371b6d6e8ac2450a1ef0c765e67
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

LaaS Base functionality

JIRA: N/A

This is the base of the laas hosting software.
the pod_manager can select a host from a pool and
will ghost it with a clean image.
The deployment_manager will install OPNFV on that host.
Utilities defines misc useful functions that are needed
throughout the provisioning and dpeloyment.

Change-Id: I2fb24f36491ded1284f5ac1659a505bd88baafb4
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Fix Booking API

This fixes a server error for the booking REST api and some html errors.

Change-Id: I86475967bbc8cd4c8f82f62e03789f1c9752d446
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Mount PostgreSQL Data from Persistent Volume

Each time the postgresql container is torn down the database is lost.
By using a presistent volume managed outside of docker compose, the
postgresql data can persist across updates and service restarts.

The volume needs to exist before the postgres container can start: this
is done with the 'make data' command.

Note: postgres container creates a volume at /var/lib/postgresql/data.
Mounting at this location ensures the data is persisted into the
external volume.

Change-Id: I958ba57fc735c594378d575bc7108bee0d30c1e3
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Fix Yamllint Violations

JIRA: PHAROS-298

Change-Id: I1c9afc9bfee4a60144b95bc38e2333260c95167a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Pharos Dashboard: Add manual resource management

Dev Pods are now managed by checking the "Dev pod" box in the Admin
Panel. This commit also fixes a dead image URL and the oauth process for the
dashboard URL.

Change-Id: Ic94160eb3a4504a369606261440df0e5354ac027
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add booking communication reference implementation

JIRA: PHAROS-265

This adds an implementation of a booking communication agent that
listens for booking notifications from the dashboard and updates the pod
status in the dashboard.

Change-Id: I1ea22390a46182a185df9c5e1771c9312d462092
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add library for dashboard notification System

JIRA: PHAROS-265

Change-Id: Ia33235c5160ef6b36b27a6fe1a2eb97a45e72367
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add library for dashboard API

JIRA: PHAROS-265

The DashboardAPI class can be used to query and update dashboard data.

Change-Id: I584a3cc500ff1d67011c18af4e73e504126310a2
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Merge "Add pharos-validator tool"

Add unit tests

JIRA: RELENG-12

This commit increases test statement coverage to 84%. It also fixes the bugs
that emerged while testing.

Change-Id: I696091f1a07f8b7647872c7cb15f4368a4690619
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Sync dashboard user data with jira

JIRA: PHAROS-264

Change-Id: Ic4533af04946ee0493c762ca79aaf46ee0f80e00
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add Installer and Scenario fields to bookings

JIRA: PHAROS-272

Change-Id: I28f44bfadb1dbe3cb0caca0a8038fba988cf26f9
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add pharos-validator tool

Change-Id: I38e077c2c90059e39ee9871abf5d867a875827a3
Signed-off-by: Todd Gaunt <singularik@iol.unh.edu>

Add database migration files

Change-Id: Id24ced5dc7d71861df9899d472edb26f5805da50
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Restructure dashboard project for docker deploying

Change-Id: I13cad51270504ee4bed8558598a8891af58a26ab
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add license headers

JIRA: RELENG-12

Change-Id: I6aeb82b2f72d086b70737f86282f8ed0c48f83cf
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add a REST API for the dashboard

JIRA: PHAROS-265

Change-Id: Ic1b2d20415b0b84473d5915c4f26f3e65bbb1ecf
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Send notifications for booking start and end

JIRA: PHAROS-265

Change-Id: I53a37ac31dda70935752afc6da3315e6dfcbc90f
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Implement notification framework

JIRA: PHAROS-265

The framework can be used by the dashboard and the labs to exchange
notifications about booking events and pod status.

Change-Id: Ibd7cd353c4933f7662d5368182faef8298b85efc
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Fix table HTML

JIRA: RELENG-12

Change-Id: I780c1fc0daab9ee2f2599c51f31eb416a2c7dbbf
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add user info panel

JIRA: PHAROS-264

Change-Id: I5404812a78755ce1026401b8dda1f0d167dc6fda
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add info to the resource view

JIRA: PHAROS-266

This adds a panel containing lab owner contact information, jenkins
utilization timerange options and a table containing vpn users of a pod
to the resource view.

Change-Id: If991c74d3c93cd08f622771acc048ab998e16c48
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add utilization column to dev pod tab

JIRA: PHAROS-263

Change-Id: I25d5d4bf4ecc23febdc0c11eae3298ada9372e83
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add booking utilization chart

JIRA: PHAROS-263

Change-Id: I3a3a5115a1cf7742f9ac5a3ec753699c36b49815
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Remove first prototype of the Pharos Dashboard

The Dashboard implementation from Max is im progress and
more advanced than the initial one. It doesn't make sense
to maintain both of them.

Change-Id: Iabea63a7e5b6e8d64cb72b8de2264c5c4484eae8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Add a Resource detail view

JIRA: RELENG-12

The resource page contains an utilization diagram, future bookings with
their jira tickets and a list of servers.

Change-Id: I2123ccbe96cde29a56af32b933ebbf6ba2668ed1
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add a Booking detail view

JIRA: RELENG-12

This adds a pop-up to the booking calendar, containing information
about a selected booking.

Change-Id: Ie780006963cb927d073103edbaefbdab3de403fb
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Remove development settings

JIRA: RELENG-12

Change-Id: I0a481c95e7acb17ca2efe9be1e90b2e49a7e8104
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Create Jira issue for new booking

JIRA: RELENG-12

The issue is assigned to the lab owner and to the POD Access Request
Component. The pgp and ssh keys are uploaded to jira as an attachement.

Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Remove database migration files

JIRA: RELENG-12

Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Use Jira Oauth for user authentication

JIRA: RELENG-12

Users can use their jira accounts for the dashboard. This also allows
the dasboard to open jira tickets for bookings.

Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add a resource utilization page

JIRA: RELENG-12

Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Implement periodic tasks

JIRA: RELENG-12

The dashboard is now querying jenkins periodically and saving the
results in the database. This fixes delays that were caused by calling
the jenkins API.

Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Split the dashboard into different apps, add tests

JIRA: RELENG-12

Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

import pharos dashboard code

JIRA: RELENG-12

The last commit was missing some JS/CSS dependencies of the site. This
happened because they are in folders that are named 'build' or 'dist'.
This commit adds a bower.json file, that specifies dependencies.
Dependencies can now be installed by running 'bower install' in the
dashboard/static folder.

Change-Id: I054f319c66771f767e97711cb678d79d3bd6bee4
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

import pharos dashboard

JIRA: PHAROS-190

Change-Id: I8a9db2ae0dac93fb8921d59f6018bfe73a0694f3
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Adaptations in the dashboard for the LF server

JIRA: RELENG-12

Removed DB information.

Change-Id: I7a307a6f4b416837c9e0376764aeee58e2631657
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

OPNFV Infra Dashboard

JIRA: RELENG-12

Change-Id: I7451a3d234e4e5d946cdb905d5720be6159b6544
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>