Merge "[fuel] add main check for idf.fuel"

[fuel] add main check for idf.fuel

- Installer adapter will check first if POD idf has a fuel section.
  If not it will just generate and return an empty set

- While at it, jinja2 code was simplified to dot syntax

Change-Id: Ie040b1263ccae083e20cc57435639453d2456426
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

Merge ".yamllint: Add initial config based on releng"

Merge "PDF is not to contain net_config"

Merge "Fix First MAC Address on LF-POD5 Jumphost"

.yamllint: Add initial config based on releng

Change-Id: I5a22a186d87a2389e637771628e0a7d0522b7b77
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "nominate Trevor Bramwell as a Pharos committer"

nominate Trevor Bramwell as a Pharos committer

I would like to nominate Trevor Bramwell as a committer to the Pharos project.
Trevor has been an active contributor to the Pharos project over the last few months.

Please provide a +1/-1 vote before the end of next week, Dec. 31st

Change-Id: I8c7d09e67a86c814bb89beac878da74a03bdd1c4

nominate Aric Gardner as a Pharos committer

I would like to nominate Aric Gardner as a committer to the Pharos project. Aric has been an active contributor to the Pharos project over the last few months.

Please provide a +1/-1 vote before the end of next week, Dec. 31st

Change-Id: Ia381c93bd46053891195f8740d43cd4b010bef42

Merge "nominate Parker Berberian as a Pharos committer"

Merge "nominate Guillermo Herrero as a Pharos committer."

Merge "nominate Alexandru Avadanii as a Pharos committer "

Fix First MAC Address on LF-POD5 Jumphost

Change-Id: Ibdf3ea886fcfca8246cd8cb24d52d12b689a733b
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Merge "PDF: Fix recurring typo in 'haswell' name"

Fix the VIP of daisy

VIP can not conflict with the address of any node.
Otherwise the deployment will fail. See [1].

[1]: https://build.opnfv.org/ci/job/daisy-deploy-baremetal-daily-master/359

Change-Id: I53a79c478d355d00b6eec16c462694eab68292d7
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Add admin external network mapping for daisy

The admin external network mapping is used by post deploy script
in daisy to create network.

Change-Id: I4bdde9ca52d8932f77e91b8bf7d41b0c2e821a20
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

PDF: Fix recurring typo in 'haswell' name

Fix typo before it gets propagated even more:
$ grep hasewell -Rl . | \
  xargs sed -i 's/hasewell/haswell/g'

Change-Id: Id6a17ae8f429946f7febba6f319a25759fc8339f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

nominate Alexandru Avadanii as a Pharos committer

I would like to nominate Alexandru Avadanii as a committer to the Pharos
project. Alexandru Avadanii has been an active contributor to the Pharos
project over the last few months.

Please provide a +1/-1 vote before the end of next week, Dec. 31st

Change-Id: I192c87b6a36b2981cdfb4c780bd1fff9152201a8

Merge "modify admin network segment of zte pod1"

PDF is not to contain net_config

Moved net_config from PDF to IDF for discussion on what the idf should look like

The PDF spec is static and should not change.

All changes needed for installers should be put in other descriptor files.
(senario and installer descriptor files)

Change-Id: I79f6c751cabc69bded255ce0471e8512c656c259
Signed-off-by: agardner <agardner@linuxfoundation.org>

validate-pdf-jinja2-templates-master failing

If keys do not exist, the skipping decryption python stuff doesn't
work, see:
https://build.opnfv.org/ci/job/validate-pdf-jinja2-templates-master/16/consoleFull

Still does not fallback to plain in the case of a 'bad decryption',
but the current code does not either, bad decryption is logged
in any case.

Change-Id: I8da2c7cf8568a6e77ca24cc9ce665410d93b7ba9
Signed-off-by: agardner <agardner@linuxfoundation.org>

modify admin network segment of zte pod1

The previous network segment conflicts with INSTALLER_IP.

Change-Id: I160c2ee368f716d13510bfea69e2dc453d164276
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

nominate Parker Berberian as a Pharos committer

I would like to nominate Parker Berberian as a committer to the Pharos project. Parker has been an active contributor to the Pharos project over the last few months. His foxus on the Pharos Dashboard will be key to reaching community goals.

Please provide a +1/-1 vote before the end of next week, Dec. 31st

Change-Id: Iee363751fd06a12a4e16b8a638e821ea274a7f96

nominate Guillermo Herrero as a Pharos committer.

I would like to nominate Guillermo Herrero as a committer to the Pharos project. Guillermo has been an active contributor to the Pharos project over the last few months.

Please provide a +1/-1 vote before the end of next week, Dec. 31st

Change-Id: I452c1eb1050932accdf312226d4808f41d574ee3

Merge "Linux Foundation POD5 PDF"

Merge "Moving all pdfs to pharos repo"

Merge "Moving all pdfs to pharos repo"

Merge "Update the example config filename in eyaml README"

Merge "Encrypt ipmi info of zte baremetal pods"

Merge "Generate daisy network configuration by template"

Update the example config filename in eyaml README

The example configuration file in the directory pharos/config/utils/
is config.example.yaml.

Change-Id: I493274e4ddb689eb729ed642b5f495b5be0b75b0
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Encrypt ipmi info of zte baremetal pods

Change-Id: I86935bee9ff30d811f0e756f93716cb415fa3a01
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Merge "Update eyaml README"

Merge "Moving all pdfs to pharos repo"

Merge "Moving all pdfs to pharos repo"

Update eyaml README

On CentOS7 systems the gem command is contained in the 'rubygems'
package, not 'ruby-gems'.

After the keys have been moved, there is not reason to keep around the
'keys' directory.

Change-Id: I5cb9f474276de75b650ddf323a279e139fb62d37
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Linux Foundation POD5 PDF

Change-Id: I0c4389059edb33fecdd472777d7266c4934f1d07
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Updating the INFO fill with names and email address.
Removing Qiao Fu who is no longer able to participate in project.

Change-Id: I4bfcb378f3a5da6af59292f8911fa8fc8200cbae

Merge "[fuel] extend public gateway support"

Merge "[fuel] Add MaaS PXE network to installer adapter"

Merge "[fuel] Add IDF mappings to installer adapter"

[fuel] Add MaaS PXE network to installer adapter

JIRA: FUEL-313

Change-Id: I046ea732e1047f793f1b3bc6f7fc31cfcee9ff40
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel] cleanup: Drop infra_compute_*_address

Our PDF installer adapter defines 3 unused reclass params that are
misleading, so drop them (infra_compute_node{01,02,03}_address).

Change-Id: Iedf68bbfa77f3a42572dde30275318c8d04f5eb4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

generate_config.py: Fix running without eyaml

If eyaml is not installed or misconfigured, we should output raw
encrypted data and throw a warn/error accordingly, instead of
bailing out completely.

Needed for Fuel deploys on PODs that do not use PDF encryption, e.g.
lf-pod2.

Change-Id: I2905df11a3cf2f2eb1ab9bfd8bd88619af2cab04
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel] Add IDF mappings to installer adapter

Change-Id: I3a82ed747d2671510a25e65388c7f73ec760afc3
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel] extend public gateway support

JIRA: FUEL-305

Change-Id: Ic5a2d499925aeec5b597394a059640ddae83fb2d
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

Merge "Moving all pdfs to pharos repo"

Merge "[fuel] IPMI: Trim netmask from IP passed to MaaS"

Merge "[fuel] Use PXE interface index from net_config"

Generate daisy network configuration by template

JIRA: DAISY-74

Add jinja2 templates for daisy network configuration.
For DPDK, TENANT and EXTERNAL networks should share the
same interface now.

Change-Id: I6e9b7a68fb572e9ad844cfcc6ff383aaa25e3bc1
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Moving all pdfs to pharos repo

Note: Also fixed yamllint issues with these files

Inline encrytion of yaml files allows us to  make away with securedlab's
restrictions. Going forward, anyone will be able to see Lab PDFs

See:
https://github.com/opnfv/pharos/blob/master/config/utils/README.eyaml.rst

If you are the reviewer on this changeset it is becasue
git blamed showed you to be the author of the pdf in this review.

Encrypting ipmi password etc is optional. I have scrubbed the password from
this change. If you do not need the password to be hidden, please let me
know in the comment, and I will put it back.

If you do need the password hidden, please follow the readme above and
ammend this patch to include the encrypted value that you create on your
pods jumphost.

Passwords and Usernames removed:

$ egrep -r '(pass|user)'
zte/pod2/daisy/config/deploy.yml:  ipmi_user:
zte/pod2/daisy/config/deploy.yml:  ipmi_pass:
zte/pod2/daisy/config/deploy.yml:  ipmi_user:
zte/pod2/daisy/config/deploy.yml:  ipmi_pass:
zte/pod2/daisy/config/deploy.yml:  ipmi_user:
zte/pod2/daisy/config/deploy.yml:  ipmi_pass:
zte/pod2/daisy/config/deploy.yml:  ipmi_user:
zte/pod2/daisy/config/deploy.yml:  ipmi_pass:
zte/pod2/daisy/config/deploy.yml:  ipmi_user:
zte/pod2/daisy/config/deploy.yml:  ipmi_pass:
zte/pod2/daisy/config/deploy.yml:daisy_passwd: ''
zte/virtual1/daisy/config/deploy.yml:daisy_passwd: ''
zte/pod3.yaml:    user:
zte/pod3.yaml:    pass:
zte/pod3/daisy/config/deploy.yml:  ipmi_user:
zte/pod3/daisy/config/deploy.yml:  ipmi_pass:
zte/pod3/daisy/config/deploy.yml:  ipmi_user:
zte/pod3/daisy/config/deploy.yml:  ipmi_pass:
zte/pod3/daisy/config/deploy.yml:  ipmi_user:
zte/pod3/daisy/config/deploy.yml:  ipmi_pass:
zte/pod3/daisy/config/deploy.yml:  ipmi_user:
zte/pod3/daisy/config/deploy.yml:  ipmi_pass:
zte/pod3/daisy/config/deploy.yml:  ipmi_user:
zte/pod3/daisy/config/deploy.yml:  ipmi_pass:
zte/pod3/daisy/config/deploy.yml:daisy_passwd: ''
zte/pod1.yaml:    user:
zte/pod1.yaml:    pass:
zte/virtual2/daisy/config/deploy.yml:daisy_passwd: ''
zte/pod2.yaml:    user:
zte/pod2.yaml:    pass:
lf/pod2.yaml:    user: >

Change-Id: I876f4b553c51dd4592701539cfce66bcf8c114ab
Signed-off-by: agardner <agardner@linuxfoundation.org>

Moving all pdfs to pharos repo

Inline encrytion of yaml files allows us to make away with securedlab's
restrictions. Going forward, anyone will be able to see Lab PDFs

See:
https://github.com/opnfv/pharos/blob/master/config/utils/README.eyaml.rst

If you are the reviewer on this changeset it is becasue
git blamed showed you to be the author of the pdf in this review.

Encrypting ipmi password etc is optional. I have scrubbed the password
from this change. If you do not need the password to be hidden, please let me
know in the comment, and I will put it back.

If you do need the password hidden, please follow the readme above and
ammend this patch to include the encrypted value that you create on your
pods jumphost.

Change-Id: Idc70540477d8569f15335e75e7725c1e4e56a60b
Signed-off-by: agardner <agardner@linuxfoundation.org>

Moving all pdfs to pharos repo

Inline encrytion of yaml files allows us to  make away with securedlab's
restrictions
Going forward, anyone will be able to see Lab PDFs

See:
https://github.com/opnfv/pharos/blob/master/config/utils/README.eyaml.rst

If you are the reviewer on this changeset it is becasue
git blamed showed you to be the author of the pdf in this review.

Encrypting ipmi password is optional. I have scrubbed the password from
this change. If you do not need the password to be hidden, please let me
know in the comment, and I will put it back.

If you do need the password hidden, please follow the readme above and
ammend this patch to include the encrypted value that you create on your
pods jumphost.

Change-Id: Ie3e935e7e9250a387858c29eb77c3c06b4fe3f57
Signed-off-by: agardner <agardner@linuxfoundation.org>

Moving all pdfs to pharos repo

Inline encrytion of yaml files allows us to  make away with securedlab's
restrictions. Going forward, anyone will be able to see Lab PDFs

See:
https://github.com/opnfv/pharos/blob/master/config/utils/README.eyaml.rst

If you are the reviewer on this changeset it is becasue
git blamed showed you to be the author of the pdf in this review.

Encrypting ipmi password is optional. I have scrubbed the password from
this change. If you do not need the password to be hidden, please let me
know in the comment, and I will put it back.

If you do need the password hidden, please follow the readme above and
ammend this patch to include the encrypted value that you create on your
pods jumphost.

Change-Id: I52a5c117da599fd46aa246de20077d5bdbe8a3b6
Signed-off-by: agardner <agardner@linuxfoundation.org>

Moving all pdfs to pharos repo

Inline encrytion of yaml files allows us to  make away with securedlab's
restrictions
Going forward, anyone will be able to see Lab PDFs

See:
https://github.com/opnfv/pharos/blob/master/config/utils/README.eyaml.rst

If you are the reviewer on this changeset it is becasue
git blamed showed you to be the author of the pdf in this review.

Encrypting ipmi password is optional. I have scrubbed the password from
this change. If you do not need the password to be hidden, please let me
know in the comment, and I will put it back.

If you do need the password hidden, please follow the readme above and
ammend this patch to include the encrypted value that you create on your
pods jumphost.

Change-Id: Ic2db523e7f82a0fb48e462a1fbe1402267f22618
Signed-off-by: agardner <agardner@linuxfoundation.org>

Jenkins does not have /usr/local/bin/ in path

Stupid jenkins

Change-Id: Ibfd83e7dadd674cfe7d7a9c2a712ef069fb8d5de
Signed-off-by: agardner <agardner@linuxfoundation.org>

Moving check-jinja2 to pharos.

Securedlab will be going away now that we can encrypt strings
(eyaml)

we need to check jinja2 PDF templates that will be moving into pharos
This adds one pod yaml files and fixes paths in check-jinja2.sh

After this is merged I can create a jenkins job for pharos.

Then I can start moving pdf files into the pharos repo

Change-Id: I2f2f2925275de49035d7d0160249d75b25ca0d20
Signed-off-by: agardner <agardner@linuxfoundation.org>

Merge "generate_config: Use eyaml to decrypt secret values"

Fix yamllint warning for daisy template

Change-Id: I4b9a9a569d22570f027a49bc31736f6787177171
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

generate_config: Use eyaml to decrypt secret values

Note: IDF data encryption is not supported. Supporting that is
trivial, but it leads to slightly more complicated code, plus it
breaks support for multiline scalar encrypted data in the PDF ('>'),
forcing us to define each encrypted value as inline string.

While at it, fix silly limitation of jinja2 path residing in a subdir
of CWD.

Change-Id: I441ec754d8b6e4aad2ed73aba0b9b18ed65f05f4
Signed-off-by: agardner <agardner@linuxfoundation.org>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel] Use PXE interface index from net_config

Instead of assuming the PXE network interface is always the first,
read its index from 'net_config' section.

Change-Id: I0b4e9fc89297f4bd718a2e5336746917347c89e1
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel] IPMI: Trim netmask from IP passed to MaaS

Change-Id: I683788846a716f1af6ae8aa3b25cc3a866ae0045
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

[fuel] Assign public network to proxy nodes

Change-Id: I8d4cc9505eb1d405b8f6a3ef1053249d803bda7b
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "PDF: generate_config: Add IDF parsing support"

Updated fuel adapter (vlan1000, interfaces format)

Change-Id: I848f13acca08c4c8a24eeecd3554ea6d50bbb565
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

Merge "Updated fuel adapter (ODL)"

Move POD descriptor file template to its own directory (pdf/pod1/yaml)

Change-Id: Ibb481d57e3c154c409c2635096330f2e63dce9db
Signed-off-by: Jack Morgan <jack.morgan@intel.com>

Updated fuel adapter (ODL)

Change-Id: I4ff233460bb4fbd88277f2798f5f6380ff3b367d
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>

PDF: generate_config: Add IDF parsing support

For a given 'podN.yaml' file, check whether a file named
'idf-podN.yaml' exists in the same directory, and if it does,
pass its contents under the 'idf' dict key to the j2 template.

This assumes the contents of IDF yaml have a root 'idf' key.

Change-Id: I6c6f1b9f28c38989f8a6ed4a389c9a1da423d76d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "Remove inactive committers"

Merge "Remove 'tools' Directory"

Remove inactive committers

Removed committers have not touched the project in over a year

Current committers,
Please vote with +2,0,-2 on this change

I will ask the TSC to ammend the by-law on removing committers, so that
It can be done by vote if a committer is inactive for a long period

Change-Id: I55234cea80e26fd377a1b7d5a6e062db8b78defe
Signed-off-by: agardner <agardner@linuxfoundation.org>

Add fuel installer adapter

v3 -> v4:
- extract common variable refs, fold some reusable code;
- provide dummy defaults for PDFs without net_config;
- keep yamllint happy about spaces and empty lines;

v4 -> v5:
- more folding, define a macro for multiple IP address definition;

v5 -> v6:
- added MaaS network / DHCP range support;

v6 -> v7:
- removed macro, template code reverted to output style

JIRA: FUEL-275

Change-Id: Ib1cc319534d06c088b1db16a43aef663a8ada0d8
Signed-off-by: Guillermo Herrero <guillermo.herrero@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Remove 'tools' Directory

All tools (and history) have been moved to the pharos-tools repository:
https://git.opnfv.org/pharos-tools/

Change-Id: I84fa9b6ebd9b27f42d41f2722eb1221ec39a8c94
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

config/pod1.yaml: Typo fixes, add 3 new nodes

In order to be able to check the PDF template against the current
installer adapters, we need to fill in all 5 nodes info.

While at it, perform some cleanup:
- s/remoteparas/remote_paramsg/ (installers use this directly ...);
- s/remote_mangement/remote_management/g;
- s/pod owner/pod_owner/;
- minor typo fixes;
- fixed one IP overlap between 2 existing nodes;

NOTE: Data for the 3 new nodes is bogus (random MACs, addresses).

Change-Id: I63c6318659678771c34e139dd1db630c6b81b214
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "config/installers: Add PDF installer adapters"

Merge "config/utils: Add generate_config.py"

Merge "Adds various conveniences for hosters."

Merge "Adds Experimental support for Joid"

Merge "Adds VPN Handler"

Merge "Adds configuration files"

Merge "Bash scripts for remote host deployment"

Merge "Add Dashboard Listener"

Merge "Adds SQLite DataBase"

Merge "Adds Fuel Installation Capability"

Merge "Adds Libvirt Handler"

Merge "Adds the Free and Open-source Ghost (FOG)"

Merge "LaaS Base functionality"

config/installers: Add PDF installer adapters

Previously, PDF installer adapters resided in securedlab git repo, but
since we want to be able to use it in both securedlab (for validation
of new PDF files during verify jobs) and installer projects (for
actually parsing the PDF file into usable installer inputs), we
decided to move them to a common location, also available for regular
users.

This change merely replicates the current adapter files from securedlab
git repo for the following projects:
- apex;
- compass4nfv;
- daisy;
- joid;

Change-Id: Ic4bd75e1b2dc339c15cd4943dfc5a1c74c68b094
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

config/utils: Add generate_config.py

Previously, generate_config.py resided in securedlab git repo, but
since we want to be able to use it in both securedlab (for validation
of new PDF files during verify jobs) and installer projects (for
actually parsing the PDF file into usable installer inputs), we
decided to move it to a common location, also available for regular
users.

This change merely replicates the file from securedlab git repo.

Change-Id: I9ff7889e408338d3911853fe01b752b013de1db7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

minor changes

missing comments in https://gerrit.opnfv.org/gerrit/#/c/41711/

Change-Id: I718a2c5b06a38700f739fe23e36f535562c2a90d
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "Update requirements from ARM community"

Merge "Update contents in E release"

Update requirements from ARM community

Change-Id: Id221ade872bb7f38f406a2fb8ebc8651260b22bf
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Update contents in E release

correct some information like: links and descriptions
delete unuseful information

JIRA: PHAROS-311

Change-Id: I1fceaa13fbff540bcd3f314f4653c7cc8c485091
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Add PDF to document

Change-Id: Ib3d9f89b4556d91c2d7207eb109e18eafe6dfbd6
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Merge "Fix Booking API"

Adds various conveniences for hosters.

JIRA: N/A

Adds documentation, as well as:
source/stop.sh: stops the pharos listener and any running deployment
source/deploy.sh: manually starts a deployment on the given host

Patchset2: improved and updated README

Change-Id: I918ca3bdf03a32f7a16d851d7ea7ebc968d66720
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds Experimental support for Joid

JIRA: N/A

Adds a joid installer object, and needed configuration / scripts.

Currently, this only works with a no-ha scenario.

Change-Id: Ib3076d0341e47d3bebe89ae1b22e87547fe3f524
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>

Adds VPN Handler

JIRA: N/A

adds a vpn handler in source/api/vpn.py
vpn.py contains a formal interface definition as well as a specific
implementation using LDAP. If your lab's vpn does not use LDAP, you may
create a new vpn handler that properly extends the abstract vpn class
and it should be fine.

Change-Id: I31e8d8477dfed913c4da864d3ff3b49e988d64b1
Signed-off-by: Parker Berberian <pberberian@iol.unh.edu>