utils: catch SyntaxError during import

bad modules can also throw SyntaxError besides ImportError

Change-Id: I4fa912505753cba3c06f127105354572b7f5ddd8
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "DRAFT: update yardstick generic test cases dashboard"

Merge "Test case: Fio volume benchmark testcase using job file"

Merge "Raise Exception if HA test case failed"

Merge "Create test suite k8-nosdn-lb-noha run with k8s context"

Merge "bugfix: tc063 fails to get the correct result in ubuntu node"

Merge "improve tc055 results"

Merge "improve tc002 to make packet size parameterize"

Raise Exception if HA test case failed

Change-Id: Ia3677724075c1c1408f50bbfcebd3cbcde251d66
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "collectd: disable auto-provision"

collectd: disable auto-provision

auto-provision requires Internet access inside
the VNF, which may not be the case.

Change-Id: I2b5b73e1b80074356943c5e3152c3e6a318f3ca4
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Enabling ACL test for provider network.

Properly re-using network_type from model.

Change-Id: I40180eb53080a360b4099c034038eac67716f8d1
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Merge "Added external versions for vFW and cgnat TCs."

Merge "ansible: update dpdk, trex and samplevnf install"

Added external versions for vFW and cgnat TCs.

Change-Id: I6778dac0c60f090238ed1f4860470e62a64c7d69
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Trex: fix KPI collection

return super result

Change-Id: I723a37281da15c1887ae1b3cf91d7e957b1924d1
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Create test suite k8-nosdn-lb-noha run with k8s context

JIRA: YARDSTICK-800

We have k8-nosdn-lb-noha scenario with kubernetes deployment.
So we need to add k8-nosdn-lb-noha test suite to run test case.

Change-Id: Id6dc73ad999733ddfa2e03673c20f7e92a8250a3
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add rpm,image directories and SLA options to Livemigration"

Merge "Removed unnecessary image definitions and flavor names."

Merge "Fixed invalid vfw/vacl rulw config issues"

Merge "Test case: add test config file for TC078 and TC079"

Merge "Add function to upload image from local/url in GUI"

Removed unnecessary image definitions and flavor names.

Change-Id: I13464d997ff9aba09a6cff7d3ff62f29df770a38
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Merge "add ppm into result of pktgen to make result clear"

Merge "nsb: update HEAT testcases"

Added proxy setup for standard cloudimage playbooks.

Change-Id: I4f29f584395d58b2fcece1ca8fcbda78a64e3a66
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Standardized TRex client library path

- path should be defined via TREX_CLIENT_LIB environmental variable e.g. TREX_CLIENT_LIB=/opt/trex_client/stl
- refactored unit tests

Change-Id: I18767e48daf774432c010f1b88d18a4f0ee4e156
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

nsb: update HEAT testcases

use yardstick-samplevnfs image name
always create DPDK flavor, we require 1 socket, 10 cores
remove hardcoded external network
add gateway_ip: null to prevent multiple default gateways ssh bug with Heat
add enable_dhcp: false

Change-Id: I85787b72bf6ebf1c330f20f50f7a7a2b12aa995e
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

ansible: update dpdk, trex and samplevnf install

we now clone samplevnf from git repo
made install_samplevnf role that takes as parameter VNF name
added ubuntu_server_cloudimg_modify_samplevnfs playbook

Change-Id: I5724e3b844b3137542a5c293516893a5c80f5c61
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Add function to upload image from local/url in GUI

JIRA: YARDSTICK-782

As user, we need to upload image from local/url.
If upload image from local, user need to choose local image, then
we will load it to openstack.
If upload image from url, we will download it and load it to openstack.

Change-Id: Ia9a42fda15a1dfc91476643635343a2f77a94a6b
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Fixed invalid vfw/vacl rulw config issues

Change-Id: Ib96bc4bec359005e04e4a839846779d918881ba4
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Fixed 1C/2T configuration issues.

Change-Id: I361d88043076c2f901ff6df22f2849edc7559ba0
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Add common openstack opertation scenarios: volume & floating ip"

Merge "samplevnf_helper: use network address"

Merge "Re-define the framesize and flow dynamic define in testcase"

Merge "ssh: add new get_file_obj method to fetch remote files"

improve tc002 to make packet size parameterize

JIRA: YARDSTICK-793

Change-Id: I95d014ad3d2e19dd2df1f5e72d994da2f44d4544
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Add test case file, document and related scripts of yardstick
tc057(HA_TC014)

JIRA: YARDSTICK-779

Change-Id: I6a812b1c88229b20a0dd0ce5bc135c9ba15266db
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>

Add rpm,image directories and SLA options to Livemigration

This patch includes adding of rpm and image directories in addition
to scripts directory for execution of live migration test case and
SLA options for downtime,totaltime and setuptime.

Change-Id: I22747b978aa16b6c3ee9e3cdd05cf77a10207626
Signed-off-by:RajithaY<rajithax.yerrumsetty@intel.com>

Test case: add test config file for TC078 and TC079

Change-Id: I47c6f1bf85caa814f019a8aec446c99bb8d99f0d
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add common openstack opertation scenarios: volume & floating ip

JIRA: YARDSTICK-781

This patch adds some common openstack opertation scenarios

Change-Id: I1300a61b389202242f112b6d280ab47746379546
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Add test case file and document of Tardstick TC056(HA_TC013)"

Merge "Add test case file, document and related scripts of yardstick tc058(HA_TC015)"

Test case: Fio volume benchmark testcase using job file

JIRA: YARDSTICK-791

In some use cases, Fio is used with a job file instead of parameters.
This work is about adding support for the job file and add a new test case
for volume testing.

Change-Id: I312d61bf6e7d95f23eedb0b6487f6103b7d76355
Signed-off-by: JingLu5 <lvjing5@huawei.com>

DRAFT: update yardstick generic test cases dashboard

current dashboard is obselete and hard to understand
add local grafana dashboard automatically import by
"yardstick env grafana"
update grafana version to latest steady

Change-Id: Iffae9170231d3e0867a52a1f6b5e99c4650b7326
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Add common openstack opertation scenarios: subnet & port"

Merge "Enable vnf/tg instantiate as blocking call."

ssh: add new get_file_obj method to fetch remote files

We can either cat remote files, or we can just sftp get
them.

use sftp get for /proc/cpuinfo since it can be so very large
on systems with 88+ cores.

Change-Id: I420b8c5eefdce8bb3e3b13dcc8257583dee537c1
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "test_vsperf_dpdk: remove unused and incorrect mock open"

samplevnf_helper: use network address

use network address with netmasks to be proper

ports_mac_list is no longer valid, remove it

nd_route_tbl needs to default to something otherwise
the VNF will segfault if it receives IPv6 on the port,
which it will because something in Neutron is sending
out IPv6 packets.

disable use of the routing table gateways to set arp add.
We set the next hop IP to always be the TG IP address,
so we need to always use the TG IP in arp add to send
to the TG MAC address

don't use gateways to get local addresses.

we can't use gateways because with OpenStack if we define
a gateway is breaks the default route and we can no longer
connect to the instance via floating IP.

Change-Id: I0ebefe8ac09812b6030046f73bf772edda1c7d27
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Re-define the framesize and flow dynamic define in testcase

This patch adds the framesize and flow into test option instead of
adding a seperate file to avoid the multiple file update incase of ip
change.

Change-Id: Ic473c73773ad36422ecc02618b8c646a5336b70a
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Refactor to make file sys more like class inheritance"

Refactor to make file sys more like class inheritance

Change-Id: I5471d2e894ca78407a57f3ba01202264c69ad174
Signed-off-by: Edward MacGillivray <edward.s.macgillivray@intel.com>

add ppm into result of pktgen to make result clear

Change-Id: I6649960dc9fbc61c22c9b7434805fc335634960b
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

vnf_generic: fixup topology probe logic

fix exception handling

Change-Id: I46fd0dbf21f3d3308e4f38fcfae5df2716ad7190
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

bugfix: tc063 fails to get the correct result in ubuntu node

Change-Id: If96dc008d898a77445246aa7e9c98fab160626df
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

test_vsperf_dpdk: remove unused and incorrect mock open

need to use create=True with mock open anyway

Change-Id: I3a35688cf8c367434db9d0cf057030d49deddd0d
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

remove apexlake-verify

Change-Id: I5ac8e5d573c390460e2472c7b3b4649cc78dd295
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Add common openstack opertation scenarios: subnet & port

JIRA: YARDSTICK-781

This patch adds some common openstack opertation scenarios

Change-Id: Ie59f0d5ae0842f8347824c961436b889a95b1a72
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Add common openstack opertation scenarios: network"

Merge "import_modules_from_package: refactor with generators"

Merge "Fix IxLoad traffic generator issue around running the traffic."

Merge "Support traffic generator for testing more than 10 ports"

Fix IxLoad traffic generator issue around running the traffic.

Change-Id: Ic1f13c0d28c1a1b01bbf3c8a6a618a5b3ab5bbeb
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

import_modules_from_package: refactor with generators

remove ..... split and use os.path.relpath to remove
prefix
use set operations to find missing modules, so we
don't need to check dict contains multiple times

Change-Id: I9531360fb9b2999e83874f144f1d06d825b22b2c
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Fix parsing of the results from collectd plugins

Change-Id: I3f7b9ca17164564b11517116e7e73b47f42243b9
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Support traffic generator for testing more than 10 ports

Change-Id: I9c027af082cedbadc23b0151d403dab4e9756da4
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Fix import error in IxNetwork

This patch fixes import error related to ixnetwork and do not wait for
TG server to start as IXIA is always running :)

Change-Id: I49d6b100eadafad75431cb8974605a6faa496f23
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

improve tc055 results

Change-Id: Ib1282c75c5f9cdc416bedf5c7a2e2d3f44c737f1
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

samplevnf: fix make_ip_addr

we get TypeError sometimes, so
we need to catch them

Change-Id: I5fc58006f18acf84f62d8f4a21077d71b2fb0ed8
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "utils: create TASK_LOG_DIR if it doesn't exist"

Merge "Verify the route list before parsing the data key"

Merge "run_traffic: capture and exit gracefully if crash in trex run_traffic"

Merge "YAML fixes"

Verify the route list before parsing the data key

Exception:
line 502, in get_route_data
return next((route[data_key] for route in route_list if route['if'] ==
port), None)
TypeError: 'NoneType' object is not iterable

Change-Id: Ia45d90a4e9a61cb917b23efd03b86eafb249b747
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Remove redundancy file and do relative modification"

YAML fixes

There are multiple issues wiht YAML loading.

1. Jinja2 renders None values as a string 'None'.  This is not valid YAML
we need to render None values to '~' or 'null' which is the native YAML
None value.

2. Jinja2 renders dict and lists that contain unicode with
u'foo' values.  This is not value YAML syntax.
Because we are serializing dict and lists into YAML, we
need to encode them as valid YAML.  We can override Jinja2 finalize to
use yaml.dump to dump inline YAML.

We use yaml.safe_dump(elem, default_flow_style=True).replace('\n', '')
to generate valid single-line YAML dict and list values.

But this problem highlights the general difficulties with templating and
loading files.
We could avoid this Python->Jinja2->YAML->Python issue by directly
injecting the list or dict after the YAML is loaded.

I'm not sure of the real utility of these templates.

3. On Python 2 YAML loader is rendering all strings
as unicode.  This does not work for Trex because Trex is broken
and badly coded.  Trex does type checking against str() which
is different for Python 2 and Python 3.
The default YAML loader will return native string types, str() or unicode()
for Python 2 and Python 3 respectively.

The bad Trex codes is in convert_val:

https://github.com/cisco-system-traffic-generator/trex-core/blob/master/scripts/automation/trex_control_plane/stl/trex_stl_lib/trex_stl_packet_builder_scapy.py#L674

def convert_val (val):
    if is_integer(val):
        return val
    if type(val) == str:
        return ipv4_str_to_num (is_valid_ipv4(val))
    raise CTRexPacketBuildException(-11,("init val invalid %s ") % val  );

This code is doing type(val) == str.  This is bad and broken.
We can't fix Trex, so we have to render all strings as native str() types

The bug here was that the Heat template loader template_format.py
was overriding the global YAML loader to always return unicode.
We don't want this global override.

To fix this we have to use local subclasses of the yaml.SafeLoader
class.
But in order to dynamically subclass from CSafeLoader or SafeLoader
we have to use the type() builtin to define a new class at runtime.

Once we have new classes defined, we can safely isolate different
YAML constructors and return unicode or not depending on the case.

To be consistent we implement a new yaml_loader.py module to centralize
all non-Heat template yaml loading to ensure correct uncode/str
conversion

Change-Id: Iebf9cf78fbda390977c390436b0869e7bbf503eb
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

run_traffic: capture and exit gracefully if crash in trex run_traffic

new non-blocking code of run_traffic has raise condition which causes
trex client to exit with STLError. This patches captures the exception
and exit gracefully

Traceback (most recent call last):
File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in
_bootstrap
self.run()
File "/usr/lib/python2.7/multiprocessing/process.py", line 114,
in run
self._target(*self._args, **self._kwargs)
File
"/opt/nsb_bin/yardstick_venv/lib/python2.7/site-packages/yardstick-0.1.dev0-py2.7.egg/yardstick/network_services/vnf_generic/vnf/sample_vnf.py",
line 945, in _traffic_runner
self.resource_helper.run_traffic(traffic_profile)
File
"/opt/nsb_bin/yardstick_venv/lib/python2.7/site-packages/yardstick-0.1.dev0-py2.7.egg/yardstick/network_services/vnf_generic/vnf/sample_vnf.py",
line 506, in run_traffic
self._run_traffic_once(traffic_profile)
File
"/opt/nsb_bin/yardstick_venv/lib/python2.7/site-packages/yardstick-0.1.dev0-py2.7.egg/yardstick/network_services/vnf_generic/vnf/tg_rfc2544_trex.py",
line 63, in _run_traffic_once
self.client.stop(self.my_ports)
File
"/opt/nsb_bin/trex/scripts/automation/trex_control_plane/stl/trex_stl_lib/trex_stl_client.py",
line 1202, in wrap2
raise STLError("'{0}' - connection to the server had been lost: '{1}'".format(func_name, client.conn.get_disconnection_cause()))
STLError:

Change-Id: Ie5741339451e0a3f9c4bb48f64fd35d86d18e5d4
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

html_template: can't use iteritems, use items

iteritems is not supported in Python 3
we have to use items()

Change-Id: Ib923dfea4220eeab311949c9f6f420fef378e98a
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Enable ixnet traffic generator to run traffic

Change-Id: I8d7cea75aa864c37a058a154a38c9828ea5da434
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Moving trex to latest version (v2.28) to support new NICs

Change-Id: I81e119deec36ae90749c2eb1d555f75475ce2474
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Download the right dpdk bind tool before starting the test case"

Merge "deepgetitem: try string index before int"

Merge "gitignore: ignore .tox/"

Enable vnf/tg instantiate as blocking call.

untill we fix the sequence issue, we need to make the instantiate
blocking call to avoid hangs

Change-Id: Ie337372625d506e6b3c74a5248204a87fec1ca2c
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Download the right dpdk bind tool before starting the test case

Change-Id: Id8901aabef402d5743e2575e275b5a57046e897c
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

gitignore: ignore .tox/

Change-Id: If021ed0f099c81492fd7509317efc31f020e6d18
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

deepgetitem: try string index before int

Change-Id: I3b353c5887db0ebbe33e37db505e72b85167b54e
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Update release note for Danube.3.2"

Merge "ACL: remove failing testing"

Merge "task: initialize result"

task: initialize result

Change-Id: I8d6b9bed24c9afa4be54296515e6aa91e84fe650
Signed-off-by: Martin Banszel <martinx.banszel@intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

dynamictp: fix flake8 warning

flake8 warns about indent

Change-Id: Ib7a57dcb8462de24a2ccb1fdbc60db995cc60d33
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

ACL: remove failing testing

test_instantiate_panic fails randomly sometimes
in Jenkins, the test doesn't really do anything
useful, so remove it

Change-Id: Ia44ebbe778b812ae1b4660d64e88bf029fed3701
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "KVMFORNFV: Update Grafana config for Packet Forwarding test cases."

Integrate vsperf in Tgen mode

Problem:
Running Vsperf in Tgen mode is supported but the integration is not complete at the code level
i.e. not ready-to-use, and dpdk loopback is not supported inside the VM.

Solution:
(1) Completely automates VM image generation and supports 1G huge pages.
(2) Adds a new test scenario VsperfDPDK for testpmd based loopback inside the VM.

Update 1-2: Fixed "line too long" issues not reported by local run_tests.sh (why?)
Update 3: Per comment change to use SSH.from_node() and add unit test cases
Update 4: Add more unit test cases for coverage and ready the code for merge

JIRA: YARDSTICK-661

Change-Id: Iea3014d4c83e1b0c079019a4ed27771d40a7eed8
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>

Update release note for Danube.3.2

Note: This patch should be merger to stable branch.

Change-Id: I7f07a7c367fc387494f2313143a300fef85a8fd1
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Add yardstick report for each task"

Ansible typo fix, whitespace

Change-Id: I3639ab84ab5b9e802e1bbd23674b0fbda46fdc66
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

PROX VNF and TG

PROX was added to samplevnf project
https://git.opnfv.org/samplevnf/tree/VNFs/DPPD-PROX

JIRA: YARDSTICK-638

Change-Id: If9875b1130c6bed87deb8720b0d8b28ede9289d9
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>