Refactor deploy-config.py into object style

Change-Id: I706563e6ed1bbfd98adc5a4124ff63789f9e32fa
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "[odl-l3] Get OVS plugin into the action"

Merge "Support different format of fuel task info"

Merge "Add DHA adapter dependencies"

Support different format of fuel task info

As described in this bug: https://bugs.launchpad.net/fuel/+bug/1625518
json output of the task can be in different format: single dict or list
of dicts. During tests of https://gerrit.opnfv.org/gerrit/21807 only the
later one was visible, try to support both types of output.

Change-Id: I7d3e12270c8246b03bdc6c73d3be77a039df469f
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Change the way how we track deployment"

Merge "deploy: fix: remove storage files during cleanup"

Add DHA adapter dependencies

Change-Id: Ia83782ac6baed0f9d753b69b18202abaafb972e5
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Added Alexandru Avadanii as committer to Fuel@OPNFV

A Majority of the Fuel@OPNFV committers have voted for Alexandru as committer:
Those include:
Michal Skalski
Jonas Bjurel
Greg Elkinbard
Stefan Berg
Daniel Smith

No one voted 0 or -1

Change-Id: Ib477ba126be438a11b409a85805a71734bf1a679
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Updated committer list"

deploy: fix: remove storage files during cleanup

Remove old disks through virsh instead of calling os.delete()
methods so that the cleanup phase would succeed within a non-root
setup. [1]

Related-bug: ARMBAND-128

[1] https://gerrit.opnfv.org/gerrit/#/c/19491/

Change-Id: I90007edf014c7e15a68b9a334fcaffaa127ee4ab
Signed-off-by: Stefan Sicleru <stefan.sicleru@enea.com>

[odl-l3] Get OVS plugin into the action

Update ovs version to 2.5+ in order to get inserted security group
connection tracking flows in ovsdb, which allows to pass
tempest scenario of test_network_basic_ops.

JIRA: FUEL-199
Change-Id: Id3e6c8ed2b79c4b6b4a7623f0d262c63f1d1d89f
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Change the way how we track deployment

Use fuel2 for start deployment. Since it does not return progress
use deployment task to provide this information. Currently used
'deploy-changes' will behave the same:
https://bugs.launchpad.net/fuel/+bug/1565026

Try to handle situation when nodes temporary go offline. With
deploy-changes environment still was in 'new' state in this situtation
which causes timeouts from jenkins.

JIRA: FUEL-196

Change-Id: I6548a5ec807551388e845044c282b7af32eb9100
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

[odl] Get latest changes

* Fix setting bgpd password with puppet
* Enable G1 garbage collector
* Adding caching possiblity
* Add firewall resource that opens BGP ports

Change-Id: I8f779ba7356acf52967e594a1a213edf192962fc
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Templater can now read files from URLs"

Merge "Refactoring"

Merge "Change prints from statements to function calls"

Emergency patch - fixed broken links

Change-Id: I7aea7c06775cac3efeb22d2256c7acf6fbb137d5
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Fix: ISO build omits long path files"

Merge "[performance] Disable keystone token revoke"

Change prints from statements to function calls

Change-Id: I378baa85bd9e1b9b535a2d4e9c8dcb34a267a6e5
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Temporary Hardcoded Ubuntu repo

Meanwhile we're investigating the issues with Ubuntu repo mirror selection,
we will hardcode the Ubuntu repo mirror

Change-Id: I776bd3a8a72dc87e00052e8ff965de1134293c7a
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

[performance] Disable keystone token revoke

Change-Id: I6db0bfaab5462a9a8f8de64bc1b088607d407bab
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Refactoring

 - Move function definition to its place
 - Add main function

Change-Id: I9dd71dd2da0579e04841c9efc80f2770d0182b10
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

[KVM] Install plugin in post-deployment

JIRA: FUEL-171

Change-Id: Iead815ba2da76493f108ad71bc32cff265302b55
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Make sure to use only up-to-date mirrors

Whitewash the geographically "close" mirrors against the list of
fully synced mirrors - we've had a few instances of getting bad
mirrors which would break the script.

All credit goes to:

https://askubuntu.com/questions/39922/how-do-you-select-the-fastest-mirror-from-the-command-line

... and we should perhaps use the netselect tool as well somewhere down
the line, but this fixes the most urgent problem.

Change-Id: Ia61a2bd78657b28019f57fc1962d410e754e6d2a
Signed-off-by: Stefan K. Berg <stefan.k.berg@ericsson.com>

Repo tidy-up + licence scrubing

- Added licences and (c) to files not complying to Licence and (c) policies.
- Removed example templates not having correct licence claims and no longer being rellevant.
- Removed the Vagrant deployment method as it is not used, not rebased/up to date and not holding correct license claims.

Strategies used:
- Machine generated are not assigned an licence text, the licence follow from the source.
- Generated patch files are not assigned an licence text, the licence follow from the source.

Change-Id: I9763f076eae51fbb2d4e5cb8cacfa4bb6cf338cc
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Updated committer list

Change-Id: I5f22080edf695cef3c6fd24ff0f62b02a1dbc0af
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Enable ci off-line deployment

Updated dea_base to use locak repo mirrors for off-line deployment
NOT TO BE PART OF COLORADO.1

Change-Id: Ia8e2d716570267ed9a9e06e253b6a7b258ee26eb
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Final updates of release notes"

Final updates of release notes

-Added filters for fixes, issues and work-arounds

Change-Id: Id76545fd7837c83145bd8d87b309c23849da6f7e
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Merge "Increase number of hugepages allocated for nova"

Remove extra empty line

Change-Id: I462a99b42d05b979c4f1904e7309e87ddd94d1bb
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Templater can now read files from URLs

Change-Id: I34b81379f7e77743e64bbf4ae814b6cd296f2428
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Merge "[OVS-DPDK] Turn off missing options"

Increase number of hugepages allocated for nova

Yardstick is using m1.small flavor for some tests, in case of ovs
scenario it should be possible to allocate 2GB from hugepages.

Change-Id: Ie908d94e63a5055907bb33c69a5e028739f44f2e
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Stop using network transformation

Due the bug in code we did not apply network transformation to created
environments, but still Fuel base on chosen segmentation type and
networks to NICs assigment has been generated network schema itself.
Since we don't use custom network schema we can remove transformation
defintions from dea pod overrides files. However there is a need to
configure NIC properties in case of dpdk deployment.

JIRA: FUEL-192

Change-Id: Ib7dab4d61910ac8c44b6d91e0c486c9693034823
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

[OVS-DPDK] Turn off missing options

Get all gcc/compile options to conform to corei7 arch.

JIRA: FUEL-186
Change-Id: I5ce76631aac9174c69362f96f71e26285fc95842
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Uplift fuel-plugin-ovs

Pull in "Update flavors mem_page_size"

Change-Id: I3e285cefee561dbbc02eb9ab7d2e9c01eef2742a
Signed-off-by: Billy O'Mahony <billy.o.mahony@intel.com>

Merge "Use Boron RC3.5 for sfc scenarion"

Use Boron RC3.5 for sfc scenarion

It should fix problems with vm communication through floating IPs.

Change-Id: Icadc71f2b99c28715c15389e59111272a21440fb
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Update local mirrors defintions

If we only use main section, not all required packages are discovered.

Change-Id: I2eaa4a7bfc659b820901ce55a4ab799c3281df3b
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

[ovs-dpdk] Target compiler to corei7 cpu arch

Change-Id: Id2405bc3b636178791428b9bab739fdaa0f094a2
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Don't fork a templater process, use the library"

Merge "Properly handle quotes in argument masking"

Merge "update node_reset() in zte_adapter.py"

Merge "Add intel-sc lab devel-pipeline configuration"

Change the way of hugepage allocation

Try to allocate enough hugepages for all NUMA nodes.

JIRA: FUEL-186

Change-Id: Idcdf6ab616dfbd9ef1104be8d1667421221ea5f2
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

update node_reset() in zte_adapter.py

Change-Id: I71790b8abb25936045f777a78ed903f3b8ce4303
Signed-off-by: wu.zhihui <wu.zhihui1@zte.com.cn>

Add intel-sc lab devel-pipeline configuration

intel-sc is the lab devel-pipeline configuration for a lab of Intel
in Santa Clara, CA, USA. This lab is behind Intel proxy sever.

Change-Id: I401b030adf82d6a19397e92aef4b30ebe971d80c
Signed-off-by: davidjchou <david.j.chou@intel.com>

Reduce ceilometer memory usage

JIRA: FUEL-189
Change-Id: I54854e4cc87f0c0e9e348e18131aa88b70e30054
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Don't fork a templater process, use the library

Change-Id: I931ba56fe65f2f5d5af483a8bfe654a0ecda1611
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Properly handle quotes in argument masking

Use shlex to parse the command line, thus handling quotes and other
special characters.

Change-Id: Icc3a2cd934aac8f67e07d967f76c7679bcb34996
Signed-off-by: Peter Barabas <peter.barabas@ericsson.com>

Disable cpu features in ovs with DPDK

Change-Id: I2cf5df2f0469f21f64e0e7d11740058639f68697
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Merge "Final Colorado document review. - Please review the rendered HTML document (See Jenkins references below) - Please verify the documented procedures and instructions"

Final Colorado document review.
- Please review the rendered HTML document (See Jenkins references below)
- Please verify the documented procedures and instructions

READY TO MERGE

Change-Id: Idff52212ca68ce2b97f203043e18a18c582589a7
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Fix: ISO build omits long path files

make iso generates:
libisofs: WARNING : File "/ubuntu/pool/main/libj/\
libjs-twitter-bootstrap-datepicker/libjs-twitter-bootstrap-\
datepicker_1.3.1+dfsg1-1~u14.04+mos1_all.deb" can't be added
to Joliet tree, because its path length is larger than 240

At the end this package is missing in latest ISO.
NOTE: This issue is only triggered on certain kernels during build.

Closes-bug: FUEL-190

Change-Id: I21f7f1cbe3f64317d2feb66e371611a654cf30f8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "build: Move patches to <patch-repos> dir"

Merge "Do not use rsync for choosing mirror server"

Do not use rsync for choosing mirror server

Rsync protocol was used for creating local mirrors, but now we only need
http connection. This requirement can be problematic for environments
which are behind proxy and can lead to build failures when rsync is not
allowed.

Change-Id: I4efcf500fd0c25de5fdb87307e7210cc4a96714d
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Change source of ODL Boron tarball

For SFC scenario we need to use ODL Boron. Since it is not yet released
there is no persistent location for a tarball. Use opnfv artifacts to
store Boron build which include required changes.

Change-Id: I43e35dbdf5ca0160d48a1adc817db071fd5db85d
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

[OVS-DPDK] Set default for dpdk_socket_mem

Change-Id: I175178cdcbab52ac024157d2c5707fd7e1236dd4
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Shift opendaylight role out of controller"

Merge "[OVS-DPDK] Allocate dpdk socket memory"

build: Move patches to <patch-repos> dir

Decouple main Makefile and repository patches by moving all Fuel
component patches to a subdir, <patch-repo>.

Proposed structure of <patch-repos> dir:
- patch-repos/*.patch are intended for <fuel-main> git repo;
- patch-repos/build/repo/<fuel-module>/*.patch are intended for
  <fuel-module>, e.g. "fuel-nailgun";

Full list of Fuel submodules supported by this mechanism at [1].

While at it, replace all occurences of </tmp/fuel-main> with
<FUEL_MAIN_DIR> in main Makefile and rewrite a few git/make calls
to use the "-C" arg.

NOTE: `git -C` is available starting with git 1.8.5.

[1] https://github.com/openstack/fuel-main/blob/stable/mitaka/repos.mk
    #L32-L44

Change-Id: I5e4adc7285054777c3898592ed48482ccd2b706f
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge "deploy/reap.py: Dump extra interfaces information."

Merge "transplant: Generate extra interfaces config file"

[OVS-DPDK] Allocate dpdk socket memory

JIRA: FUEL-186
Change-Id: Id44a786f69d78b378fbabea2c70ab1ca78651729
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

docs: build req: Remove p7zip-full

p7zip-full is not required for building, as stated in the current
version of the docs. I think this bogus requirement was introduced
by Armband (by me, more precisely) because our build process was
happening outside docker.

Sorry for the useless code churn.

Change-Id: Id0a3c5b9016706535ca159e1da261e83c8d36d31
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Merge changes from topic 'multiarch-mirrors'

* changes:
  build: cache: Consider UBUNTU_ARCH in .cacheid
  repo mirror: Allow multi-arch local mirrors

Merge "deploy: Delete old Fuel env if present"

Merge "deploy.sh: accept a timeout flag (-T)"

Merge "build: cache: Allow LOCAL_CACHE_ARCH_NAME override"

Merge changes from topic 'var-overrides'

* changes:
  build: Allow MIRROR_MOS_UBUNTU override
  build: Allow PLUGINS override

Script updates for CI job

Due to the redesign of the SFC feature test, the poc script became
part of CI job functest-fuel-baremetal, scenario os_odl_l2-sfc-ha,
there is a need of full uplift to colorado.
Changes:
 - GPG keyserver use (line 61)
 - patch updated fixing the debian package dependency issue
    (python-oslo.messaging-)
 - some typos are fixed
 - OpenDayLight address is read from hiera (management vip)

Change-Id: I4a19ec753a575220cf321819ab4ff2d9433ec16c
Signed-off-by: ferenc Cserepkei <ferenc.cserepkei@ericsson.com>

Merge "[DOC] Do not create mailto link for Fuel@OPNFV name"

Merge "[ODL] Fix odl deployment on separate node"

[DOC] Do not create mailto link for Fuel@OPNFV name

Change-Id: Ib130e8a2440531c3b9c484c9e516c72d5b20301b
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Final updates of the Installation instructions:
- Images updated
- Updated reference URIs

Change-Id: Ieeefbd8a3ef9bbd6c3a0e767f770097ab8a98f9d
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

[ODL] Fix odl deployment on separate node

JIRA: FUEL-185

Change-Id: Id14d30154b63abc915a0cd55835bb72cee862dde
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

build: cache: Consider UBUNTU_ARCH in .cacheid

Usually UBUNTU_ARCH is not changed inside the same repository,
but we should consider this case anyway for future merging
Armband and Fuel@OPNFV repositories/build systems.

This applies to all Fuel plugins and the local repo.

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: cache: Allow LOCAL_CACHE_ARCH_NAME override

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Allow MIRROR_MOS_UBUNTU override

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

build: Allow PLUGINS override

Instead of using BUILD_FUEL_PLUGINS, which was intended for manual
overrides of the Fule@OPNFV plugin list, allow PLUGINS to be
preset to a custom list, which we will provide via Armband
Makefile spec.

Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

repo mirror: Allow multi-arch local mirrors

Original patch from Stan, signed by me for upstreaming.

This patch allows specifying multiple architectures via UBUNTU_ARCH in
form of a list of space separated architectures. The first architecture
in the list is considered primary and will be used for building all the
deb packages by fuel-main. Additional architectures are added to allow
targets of other architectures to use the mirror.

NOTE: this imposes a requirement that all packages built are arch
independent (which is true so far).

[ Alexandru Avadanii ]
Reworked for applying on top of Fuel@OPNFV.
Pass UBUNTU_ARCH to Docker containers.

Change-Id: Ibc4ae03223545383813ac58ec34d44c1f97b4694
Signed-off-by: Stanislaw Kardach <stanislaw.kardach@cavium.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy/reap.py: Dump extra interfaces information.

Since on AArch64, Ubuntu local mirror lacks arm64 packages (see [1]),
Fuel master requires internet connectivity during deploy, and hence
a way to setup such a public (extra) interface automatically.

Previous commit "transplant: Generate extra interfaces config file"
introduced support for passing this information via DEA (override),
which may define a IFCGF_<interface> section in its 'fuel:'
section, containing the necessary keys to produce a ifcfg-<interface>
file, like in this example:

fuel:
   IFCFG_ETH1:
     device: eth1
     ipaddress: 10.0.1.10
     netmask: 255.255.255.0
     gateway: 10.0.1.254

In order for Network Manager to use the newly added interfaces
for outgoing traffic and honor their GATEWAY setting (e.g. if we just
added one public interface), the default route on admin iface (most of
the time called eth0) is disabled when extra interfaces are present.

FIXME: Only supports lowercase interface names, but so does Fuel,
see related bug report [2].

[1] https://jira.opnfv.org/browse/ARMBAND-35
[2] https://jira.opnfv.org/browse/FUEL-136

Change-Id: I14b023b2b9b4c7d9b9f390d4f86f693c176efde0
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

transplant: Generate extra interfaces config file

Original work by Josep, only signed by Alex for upstreaming.

The DEA override may contain a IFCGF_<interface> section in its 'fuel:'
section, containing the necessary keys to produce a ifcfg-<interface>
file, like in this example:

fuel:
   IFCFG_ETH1:
     device: eth1
     ipaddress: 10.0.1.10
     netmask: 255.255.255.0
     gateway: 10.0.1.254

FIXME: In order for Network Manager to use the newly added interfaces
for outgoing traffic and honor their GATEWAY setting (e.g. if we just
added one public interface), the default route on admin iface (most of
the time called eth0) should be disabled. For now, we assume the admin
interface is always "eth0".

Change-Id: I96e3ac5046dd59ed10c43099dd76a6418806a1f3
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy.sh: accept a timeout flag (-T)

Original work by Josep, signed by me (Alex) for upstreaming only.

Change-Id: I58a7b9bc639bb03b994ea34fc317f5679140d9fd
Signed-off-by: Josep Puigdemont <josep.puigdemont@enea.com>
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

deploy: Delete old Fuel env if present

In order to clean up old partitioning and boot entries on target
nodes, before removing the Fuel Master, try ssh-ing into it and
removing all environments/nodes.

This is especially important for EFI systems, where old boot
entries are left behind without a proper env delete, leading to
target nodes failing to PXE boot on Fuel Master re-install.

This change assumes that:
- all Fuel Master information is unchanged between old and new
  deploy (fuel IP, password etc.);
- Fuel Master is up and running, in a sane state (target nodes
  are also online), when deploy starts;

Closes: ARMBAND-51

Change-Id: I7b61124ea9182ce2d599adcdedef03e0d8d67ed6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Final Updates of the build instructions
- Updated references

Change-Id: I2a6cfdec0de6afa41ea8af59f415439b7ab7056d
Signed-off-by: Jonas Bjurel <jonas.bjurel@ericsson.com>

Fix ovs scenario configuration

Due the incorrect indentation install_dpdk option was not set to true.

JIRA: OVSNFV-37

Change-Id: Ida3b0d1e72ce8322905ff399af89b43cac878299
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Changing ODL change into FUEL_PLUGIN_ODL"

Shift opendaylight role out of controller

In order to unload controller resources place
opendaylight role to a separate node.

Change-Id: I63db4074a9b50d80e8b8b29abd385b37bdb5f9d7
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Claenup"

[KVM]Add support for Broadcom NetXtremeII 10Gb

This NIC is used on Ericsson CI POD2

JIRA: KVMFORNFV-45
JIRA: FUEL-171

Change-Id: I44576b399b6195ccc1e64dfc0b04e239ced8acc7
Signed-off-by: Michal Skalski <mskalski@mirantis.com>

Merge "Tune up virtual envs"

Changing ODL change into FUEL_PLUGIN_ODL

Some users where confused if the change we are doing
here is a change to ODL or the fuel-plugin-opendaylight.
So renaming helps for more understanding.

Change-Id: I886d7be3db995f37f9451c06ee22c16d540254e1
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

[ODL-plugin-update] Adding more memory to java vm

When running functes ODL crashes in the middel
and is not starting again. Investigtion
showed that it is due to insufficient memory
of the java vm.

Change-Id: I18cda9ed5bed91e72fd91aaf0efa02c5e1a3c8d1
Signed-off-by: Nikolas Hermanns <nikolas.hermanns@ericsson.com>

Claenup

Remove the workaround marked by "# fix me" mentioned in commit id:
e8928f93b50df3ecb11942ab754bae848c082c6a, since the issue (some files
generated during kvmfornfv building are owned by "root") already
resolved in fuel-plugin-kvm build process.

Change-Id: I5efb60173b9974f6fba25f04da1f4b1f53207b1a
Signed-off-by: davidjchou <david.j.chou@intel.com>

update release-notes for colorado

1. take care of Alexandru's comments
2. update liberty to mitaka
3. update ODL Beryllium SR1 to SR3

Change-Id: I7ae590333e781730e462c797270282e8e51fff01
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>