Moving all pdfs to pharos repo

Inline encrytion of yaml files allows us to  make away with securedlab's
restrictions
Going forward, anyone will be able to see Lab PDFs

See:
https://github.com/opnfv/pharos/blob/master/config/utils/README.eyaml.rst

If you are the reviewer on this changeset it is becasue
git blamed showed you to be the author of the pdf in this review.

Encrypting ipmi password is optional. I have scrubbed the password from
this change. If you do not need the password to be hidden, please let me
know in the comment, and I will put it back.

If you do need the password hidden, please follow the readme above and
ammend this patch to include the encrypted value that you create on your
pods jumphost.

Change-Id: Ie3e935e7e9250a387858c29eb77c3c06b4fe3f57
Signed-off-by: agardner <agardner@linuxfoundation.org>

Jenkins does not have /usr/local/bin/ in path

Stupid jenkins

Change-Id: Ibfd83e7dadd674cfe7d7a9c2a712ef069fb8d5de
Signed-off-by: agardner <agardner@linuxfoundation.org>

Moving check-jinja2 to pharos.

Securedlab will be going away now that we can encrypt strings
(eyaml)

we need to check jinja2 PDF templates that will be moving into pharos
This adds one pod yaml files and fixes paths in check-jinja2.sh

After this is merged I can create a jenkins job for pharos.

Then I can start moving pdf files into the pharos repo

Change-Id: I2f2f2925275de49035d7d0160249d75b25ca0d20
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "generate_config: Use eyaml to decrypt secret values"

Fix yamllint warning for daisy template

Change-Id: I4b9a9a569d22570f027a49bc31736f6787177171
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

generate_config: Use eyaml to decrypt secret values

Note: IDF data encryption is not supported. Supporting that is
trivial, but it leads to slightly more complicated code, plus it
breaks support for multiline scalar encrypted data in the PDF ('>'),
forcing us to define each encrypted value as inline string.

While at it, fix silly limitation of jinja2 path residing in a subdir
of CWD.

Change-Id: I441ec754d8b6e4aad2ed73aba0b9b18ed65f05f4
Signed-off-by: agardner <agardner@linuxfoundation.org>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel] Assign public network to proxy nodes

Change-Id: I8d4cc9505eb1d405b8f6a3ef1053249d803bda7b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "PDF: generate_config: Add IDF parsing support"

Updated fuel adapter (vlan1000, interfaces format)

Change-Id: I848f13acca08c4c8a24eeecd3554ea6d50bbb565
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

Merge "Updated fuel adapter (ODL)"

Move POD descriptor file template to its own directory (pdf/pod1/yaml)

Change-Id: Ibb481d57e3c154c409c2635096330f2e63dce9db
Signed-off-by: Jack Morgan <jack.morgan@intel.com>

Updated fuel adapter (ODL)

Change-Id: I4ff233460bb4fbd88277f2798f5f6380ff3b367d
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

PDF: generate_config: Add IDF parsing support

For a given 'podN.yaml' file, check whether a file named
'idf-podN.yaml' exists in the same directory, and if it does,
pass its contents under the 'idf' dict key to the j2 template.

This assumes the contents of IDF yaml have a root 'idf' key.

Change-Id: I6c6f1b9f28c38989f8a6ed4a389c9a1da423d76d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Remove inactive committers"

Merge "Remove 'tools' Directory"

Remove inactive committers

Removed committers have not touched the project in over a year

Current committers,
Please vote with +2,0,-2 on this change

I will ask the TSC to ammend the by-law on removing committers, so that
It can be done by vote if a committer is inactive for a long period

Change-Id: I55234cea80e26fd377a1b7d5a6e062db8b78defe
Signed-off-by: agardner <agardner@linuxfoundation.org>

Add fuel installer adapter

v3 -> v4:
- extract common variable refs, fold some reusable code;
- provide dummy defaults for PDFs without net_config;
- keep yamllint happy about spaces and empty lines;

v4 -> v5:
- more folding, define a macro for multiple IP address definition;

v5 -> v6:
- added MaaS network / DHCP range support;

v6 -> v7:
- removed macro, template code reverted to output style

JIRA: FUEL-275

Change-Id: Ib1cc319534d06c088b1db16a43aef663a8ada0d8
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Remove 'tools' Directory

All tools (and history) have been moved to the pharos-tools repository:
https://git.opnfv.org/pharos-tools/

Change-Id: I84fa9b6ebd9b27f42d41f2722eb1221ec39a8c94
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

config/pod1.yaml: Typo fixes, add 3 new nodes

In order to be able to check the PDF template against the current
installer adapters, we need to fill in all 5 nodes info.

While at it, perform some cleanup:
- s/remoteparas/remote_paramsg/ (installers use this directly ...);
- s/remote_mangement/remote_management/g;
- s/pod owner/pod_owner/;
- minor typo fixes;
- fixed one IP overlap between 2 existing nodes;

NOTE: Data for the 3 new nodes is bogus (random MACs, addresses).

Change-Id: I63c6318659678771c34e139dd1db630c6b81b214
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "config/installers: Add PDF installer adapters"

Merge "config/utils: Add generate_config.py"

Merge "Adds various conveniences for hosters."

Merge "Adds Experimental support for Joid"

Merge "Adds VPN Handler"

Merge "Adds configuration files"

Merge "Bash scripts for remote host deployment"

Merge "Add Dashboard Listener"

Merge "Adds SQLite DataBase"

Merge "Adds Fuel Installation Capability"

Merge "Adds Libvirt Handler"

Merge "Adds the Free and Open-source Ghost (FOG)"

Merge "LaaS Base functionality"

config/installers: Add PDF installer adapters

Previously, PDF installer adapters resided in securedlab git repo, but
since we want to be able to use it in both securedlab (for validation
of new PDF files during verify jobs) and installer projects (for
actually parsing the PDF file into usable installer inputs), we
decided to move them to a common location, also available for regular
users.

This change merely replicates the current adapter files from securedlab
git repo for the following projects:
- apex;
- compass4nfv;
- daisy;
- joid;

Change-Id: Ic4bd75e1b2dc339c15cd4943dfc5a1c74c68b094
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

config/utils: Add generate_config.py

Previously, generate_config.py resided in securedlab git repo, but
since we want to be able to use it in both securedlab (for validation
of new PDF files during verify jobs) and installer projects (for
actually parsing the PDF file into usable installer inputs), we
decided to move it to a common location, also available for regular
users.

This change merely replicates the file from securedlab git repo.

Change-Id: I9ff7889e408338d3911853fe01b752b013de1db7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

minor changes

missing comments in https://gerrit.opnfv.org/gerrit/#/c/41711/

Change-Id: I718a2c5b06a38700f739fe23e36f535562c2a90d
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "Update requirements from ARM community"

Merge "Update contents in E release"

Update requirements from ARM community

Change-Id: Id221ade872bb7f38f406a2fb8ebc8651260b22bf
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Update contents in E release

correct some information like: links and descriptions
delete unuseful information

JIRA: PHAROS-311

Change-Id: I1fceaa13fbff540bcd3f314f4653c7cc8c485091
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Add PDF to document

Change-Id: Ib3d9f89b4556d91c2d7207eb109e18eafe6dfbd6
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "Fix Booking API"

Adds various conveniences for hosters.

JIRA: N/A

Adds documentation, as well as:
source/stop.sh: stops the pharos listener and any running deployment
source/deploy.sh: manually starts a deployment on the given host

Patchset2: improved and updated README

Change-Id: I918ca3bdf03a32f7a16d851d7ea7ebc968d66720
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds Experimental support for Joid

JIRA: N/A

Adds a joid installer object, and needed configuration / scripts.

Currently, this only works with a no-ha scenario.

Change-Id: Ib3076d0341e47d3bebe89ae1b22e87547fe3f524
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds VPN Handler

JIRA: N/A

adds a vpn handler in source/api/vpn.py
vpn.py contains a formal interface definition as well as a specific
implementation using LDAP. If your lab's vpn does not use LDAP, you may
create a new vpn handler that properly extends the abstract vpn class
and it should be fine.

Change-Id: I31e8d8477dfed913c4da864d3ff3b49e988d64b1
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds configuration files

JIRA: N/A

Adds yaml files in conf/ to fit the laas software into your lab
infrastructure.
Each installer (Fuel, joid, etc) will also have their own config file,
which will point also to their own network and domain config file.

Change-Id: I0bcd57399b9f3f12aa351604fd03ae92de1ba93b
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Bash scripts for remote host deployment

JIRA: N/A

Adds various scripts into hostscripts/ to make the deployment
easier.
The whole hostscripts directory is copied to the remote host during
deployment.
mkDisks will create needed virtual disks
vncAllow punches a hole in the firewall to allow a vnc connection
    (useful for debugging)
ipnat.sh uses iptables to NAT out an isolated virtual machine
    to access horizon, for example

Change-Id: I25c23c0c4893838e58ba1cd7baaa5347de4ef47f
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Add Dashboard Listener

JIRA: N/A

Adds source/pharos.py, which will periodically poll the paros
dashboard api to see if any new bookings have started on and of your
dev pods. If a new booking is starting, a deployment will be
started for that pod.

source/listen.py starts the pharos listener in a background
process, so that it will not eat your terminal.

Change-Id: Icbce4453c772f04215f25534606456caa1012f5a
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds SQLite DataBase

JIRA: N/A

Adds a database handler in source/database.py to store all
hosts and to store any bookings coming from the dashboard.
source/resetDataBase will clean the db and try to repopulate it
with information from the FOG server.

Change-Id: I14537452d8566db17787f116018f45bb1ddd75ba
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds Fuel Installation Capability

JIRA: N/A

Adds the ability to automatically install and deploy Fuel onto
a remote host.
the hostScripts/fuelInstall.sh script boots the master machine
and uses the fuel iso to install fuel to the machine.
the source/installers/fuel.py then uses the source/api/fuel_api
handler to configure and deploy fuel.
Running:
    Fuel_Installer(domains,networks,libvirt,utility).go()
Will install fuel and deploy Openstack on top of Fuel
assuming the host is properly configured.

Change-Id: I41aee773b27b893311c945221b93eacf36aa83cc
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds Libvirt Handler

JIRA: N/A

Adds a handler which can control the libvirt hypervisor
on the remote host, in order to define the vm's and networks
that are needed for an OPNFV deployment.
Also adds the domain and network objects, which are simple abstractions
of virtual machines and networks.

Change-Id: Ia836e7b080b8bca220d5fdf6eb72b6c580cab4d1
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds the Free and Open-source Ghost (FOG)

JIRA: N/A

Adds a handler which will talk with the REST api
running on the FOG server.
This allows the pod_manager to ghost images onto hosts
in order to prep them for deployment and clean them afterwards.

Change-Id: Ic00e992874ca3371b6d6e8ac2450a1ef0c765e67
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

LaaS Base functionality

JIRA: N/A

This is the base of the laas hosting software.
the pod_manager can select a host from a pool and
will ghost it with a clean image.
The deployment_manager will install OPNFV on that host.
Utilities defines misc useful functions that are needed
throughout the provisioning and dpeloyment.

Change-Id: I2fb24f36491ded1284f5ac1659a505bd88baafb4
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

restruct documents according to opnfvdocs

Use only development and release for we don't have test codes for now.

JIRA: PHAROS-311

Change-Id: Iacfcaba81a7a52e09cf999b8603cc9dc2f8f2b97
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Fix Booking API

This fixes a server error for the booking REST api and some html errors.

Change-Id: I86475967bbc8cd4c8f82f62e03789f1c9752d446
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Mount PostgreSQL Data from Persistent Volume

Each time the postgresql container is torn down the database is lost.
By using a presistent volume managed outside of docker compose, the
postgresql data can persist across updates and service restarts.

The volume needs to exist before the postgres container can start: this
is done with the 'make data' command.

Note: postgres container creates a volume at /var/lib/postgresql/data.
Mounting at this location ensures the data is persisted into the
external volume.

Change-Id: I958ba57fc735c594378d575bc7108bee0d30c1e3
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Adding Labels"

Fix Yamllint Violations

JIRA: PHAROS-298

Change-Id: I1c9afc9bfee4a60144b95bc38e2333260c95167a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "Fix ipmi section to be valid yaml"

Fix ipmi section to be valid yaml

Change-Id: I04b5c5ead3b71c06549e9b385dcadacb79751ee4
Signed-off-by: agardner <agardner@linuxfoundation.org>

Pharos Dashboard: Add manual resource management

Dev Pods are now managed by checking the "Dev pod" box in the Admin
Panel. This commit also fixes a dead image URL and the oauth process for the
dashboard URL.

Change-Id: Ic94160eb3a4504a369606261440df0e5354ac027
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Remove docs ci job complains issues

such as:
/home/jenkins-ci/opnfv/slave_root/workspace/docs-verify-rtd-master\
/docs/submodules/pharos/docs/labs/orange-lannion-lab/index.rst:201:
ERROR: Unexpected indentation.

Change-Id: I258ca061758e73ab576e44af5e4e2fed5e3cdb21
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Adding Labels

Labels serve as anchors/ refs when referenced from other documents
This patch adds labels to docs/*/*/index.rst

Change-Id: I3dd866f0721b0c97d7c29fce0b275b29d0b2ddc8
Signed-off-by: ShubhamRathi <shubhamiiitbackup@gmail.com>

pod1.yaml for common configuration file

modifications:
1. use list to replace fixed names;
2. use structure to avoid deplicated info;
3. rearrage the structure;
4. delete nic parameters from jumpserver
5. remove address and mac_address from remoteparas

Change-Id: I4bc7e1ecf0321e852bbbe43c2ebc9a1291f7a78f
Signed-off-by: Jack Morgan <jack.morgan@intel.com>

Add booking communication reference implementation

JIRA: PHAROS-265

This adds an implementation of a booking communication agent that
listens for booking notifications from the dashboard and updates the pod
status in the dashboard.

Change-Id: I1ea22390a46182a185df9c5e1771c9312d462092
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add library for dashboard notification System

JIRA: PHAROS-265

Change-Id: Ia33235c5160ef6b36b27a6fe1a2eb97a45e72367
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add library for dashboard API

JIRA: PHAROS-265

The DashboardAPI class can be used to query and update dashboard data.

Change-Id: I584a3cc500ff1d67011c18af4e73e504126310a2
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Merge "Add pharos-validator tool"

Add unit tests

JIRA: RELENG-12

This commit increases test statement coverage to 84%. It also fixes the bugs
that emerged while testing.

Change-Id: I696091f1a07f8b7647872c7cb15f4368a4690619
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Sync dashboard user data with jira

JIRA: PHAROS-264

Change-Id: Ic4533af04946ee0493c762ca79aaf46ee0f80e00
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Merge "Add Installer and Scenario fields to bookings"

Add Lannion lab in doc

Change-Id: Ic1ad5e5aa3e2fecc67db0daf78b64a8e3c2d5bb7
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Add Installer and Scenario fields to bookings

JIRA: PHAROS-272

Change-Id: I28f44bfadb1dbe3cb0caca0a8038fba988cf26f9
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add pharos-validator tool

Change-Id: I38e077c2c90059e39ee9871abf5d867a875827a3
Signed-off-by: Todd Gaunt <singularik@iol.unh.edu>

Add database migration files

Change-Id: Id24ced5dc7d71861df9899d472edb26f5805da50
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Restructure dashboard project for docker deploying

Change-Id: I13cad51270504ee4bed8558598a8891af58a26ab
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Merge "update the huawei's lab"

Add license headers

JIRA: RELENG-12

Change-Id: I6aeb82b2f72d086b70737f86282f8ed0c48f83cf
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Merge changes from topic 'pharos-dashboard'

* changes:
  Add a REST API for the dashboard
  Send notifications for booking start and end

Fix no-license issue

delete docs/etc/ for they are not used anymore
add license info for yaml files

Change-Id: Ibac03b338700fcb52ca7c290b594b7f874f53d5c
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "Update the file naming"

Merge "Implement notification framework"

Merge "Fix table HTML"

update the huawei's lab

Change-Id: I96c046b298bd915716b67790515ad9a555e6f62c
Signed-off-by: Wutianwei <wutianwei1@huawei.com>

Pharos spec: AArch64 additions

Change-Id: I42bdd5301bb9d45a8d3e806298ff138c21d9c220
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Adding Julien Zhang back to committer list

Change-Id: I79acf4e3226d90271e16b59ace5c553f55d0995e
Signed-off-by: Jack Morgan <jack.morgan@intel.com>

Renaming the specification to index.rst to follow colorado guidelines.

Change-Id: I0d8d12f923f3f925537be7fd32d118c4497802d5
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

Add a REST API for the dashboard

JIRA: PHAROS-265

Change-Id: Ic1b2d20415b0b84473d5915c4f26f3e65bbb1ecf
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Send notifications for booking start and end

JIRA: PHAROS-265

Change-Id: I53a37ac31dda70935752afc6da3315e6dfcbc90f
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Implement notification framework

JIRA: PHAROS-265

The framework can be used by the dashboard and the labs to exchange
notifications about booking events and pod status.

Change-Id: Ibd7cd353c4933f7662d5368182faef8298b85efc
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Fix table HTML

JIRA: RELENG-12

Change-Id: I780c1fc0daab9ee2f2599c51f31eb416a2c7dbbf
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Update the file naming

Update lab and pod name according to discussion of Pharos meeting on
Sep.14, consistent naming for labs directory:
https://wiki.opnfv.org/display/pharos/Pharos+git+repo

Change-Id: I54520dda3f0662e42b8c1199f23036ced65b73bf
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "fix image path"

Add user info panel

JIRA: PHAROS-264

Change-Id: I5404812a78755ce1026401b8dda1f0d167dc6fda
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add info to the resource view

JIRA: PHAROS-266

This adds a panel containing lab owner contact information, jenkins
utilization timerange options and a table containing vpn users of a pod
to the resource view.

Change-Id: If991c74d3c93cd08f622771acc048ab998e16c48
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add utilization column to dev pod tab

JIRA: PHAROS-263

Change-Id: I25d5d4bf4ecc23febdc0c11eae3298ada9372e83
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Add booking utilization chart

JIRA: PHAROS-263

Change-Id: I3a3a5115a1cf7742f9ac5a3ec753699c36b49815
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

fix image path

Change-Id: Ie8fd1267dfb83c019e2999b01c614ae18aafca9a
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Remove first prototype of the Pharos Dashboard

The Dashboard implementation from Max is im progress and
more advanced than the initial one. It doesn't make sense
to maintain both of them.

Change-Id: Iabea63a7e5b6e8d64cb72b8de2264c5c4484eae8
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Merge "Revert "Minor updates to info file""

Revert "Minor updates to info file"

This reverts commit e556a63cc5f78598e890346889948765906a6411.

Change-Id: I92a63e1849f71384e07937d4aa1458752d29bfec
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>