Merge "Enable update ip headers for given testcase"

Enable update ip headers for given testcase

Change-Id: I008b3f09695f5e3f484b39d4e70b83e5942de863
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Rabbitmq user fix for collectd

After rabbitmq server reset we need to setup user profile so that
collectd and rabbitmq can communitcate. This profile should match amqp
plugin configuration in collectd.

Change-Id: I7eef3617d983d909418d484f8ded9e269d5d715d
Signed-off-by: Dhaval Patel <dhaval.r.patel@intel.com>

Merge "sample_vnf: run_traffic loop, check if tg_process is alive"

_get_ip_flow_range: fix bug with single IP ranges

If we have a /32 or for some reason find a range of IPs
to use, we can default to the single IP specified on the interface.

Change-Id: Ieaa1d57b04e1d57e8cef344d5a53bbca05e7887f
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

sample_vnf: run_traffic loop, check if tg_process is alive

if the tg_process crashes, this loop won't terminate unless
we check tg_process.is_alive()

wait 1 second before checking in case is_alive needs time
to become True

Change-Id: Ia0b8fd884dcfeb75ebb8e36caaf1f0b70dab079d
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

ssh: fix unittest race condition

os.stat is being called multiple times for some reason

we only care that is it called at some point.

======================================================================
FAIL: tests.unit.test_ssh.SSHRunTestCase.test__put_file_sftp
tags: worker-1
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/mock/mock.py", line 1305, in patched
    return func(*args, **keywargs)
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/tests/unit/test_ssh.py", line 458, in test__put_file_sftp
    mock_stat.assert_called_once_with("localfile")
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/mock/mock.py", line 947, in assert_called_once_with
    raise AssertionError(msg)
AssertionError: Expected 'stat' to be called once. Called 3 times.
Ran 1209 tests in 2.618s
FAILED (id=0, failures=1)
error: testr failed (1)
+ testr failing
======================================================================
FAIL: tests.unit.test_ssh.SSHRunTestCase.test__put_file_sftp
tags: worker-1
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/mock/mock.py", line 1305, in patched
    return func(*args, **keywargs)
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/tests/unit/test_ssh.py", line 458, in test__put_file_sftp
    mock_stat.assert_called_once_with("localfile")
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/mock/mock.py", line 947, in assert_called_once_with
    raise AssertionError(msg)
AssertionError: Expected 'stat' to be called once. Called 3 times.
Ran 1 tests in 0.110s
FAILED (id=0, failures=1)

Change-Id: I73370996e6e0543419eec8ecbe81be424ec15822
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Fix Scale-up issue in HWLB"

Merge "DRAFT: model: remove vld_id not needed"

Merge "utils: catch SyntaxError during import"

Merge "Add common openstack opertation scenarios: router & port"

DRAFT: model: remove vld_id not needed

it seems vld_id is not needed now that
we add it in _resolve_topology.

Remove it from the model and Heat context first
and see what happens

Needs testing

Change-Id: I30d13c80bd90246ee3be67a2bd3439db45e20bcd
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Collectd Fixes"

Merge "Kubernetes context adoption when run in CI"

Kubernetes context adoption when run in CI

JIRA: YARDSTICK-801

We need kubernetes test case run in CI.
We have one scenario k8-nosdb-lb-noha for kubernetes.
But for now, we need to do some adoption in CI script.

Also I move check OS_AUTH_URL in heat.py.

Change-Id: Iff86caf77fd74e70469ad2dc43f2238097ce0001
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

utils: catch SyntaxError during import

bad modules can also throw SyntaxError besides ImportError

Change-Id: I4fa912505753cba3c06f127105354572b7f5ddd8
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "DRAFT: update yardstick generic test cases dashboard"

Merge "Test case: Fio volume benchmark testcase using job file"

Merge "Raise Exception if HA test case failed"

Merge "Create test suite k8-nosdn-lb-noha run with k8s context"

Merge "bugfix: tc063 fails to get the correct result in ubuntu node"

Merge "improve tc055 results"

Merge "improve tc002 to make packet size parameterize"

Raise Exception if HA test case failed

Change-Id: Ia3677724075c1c1408f50bbfcebd3cbcde251d66
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "collectd: disable auto-provision"

collectd: disable auto-provision

auto-provision requires Internet access inside
the VNF, which may not be the case.

Change-Id: I2b5b73e1b80074356943c5e3152c3e6a318f3ca4
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Enabling ACL test for provider network.

Properly re-using network_type from model.

Change-Id: I40180eb53080a360b4099c034038eac67716f8d1
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Merge "Added external versions for vFW and cgnat TCs."

Merge "ansible: update dpdk, trex and samplevnf install"

Added external versions for vFW and cgnat TCs.

Change-Id: I6778dac0c60f090238ed1f4860470e62a64c7d69
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Trex: fix KPI collection

return super result

Change-Id: I723a37281da15c1887ae1b3cf91d7e957b1924d1
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Create test suite k8-nosdn-lb-noha run with k8s context

JIRA: YARDSTICK-800

We have k8-nosdn-lb-noha scenario with kubernetes deployment.
So we need to add k8-nosdn-lb-noha test suite to run test case.

Change-Id: Id6dc73ad999733ddfa2e03673c20f7e92a8250a3
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Merge "Add rpm,image directories and SLA options to Livemigration"

Merge "Removed unnecessary image definitions and flavor names."

Merge "Fixed invalid vfw/vacl rulw config issues"

Merge "Test case: add test config file for TC078 and TC079"

Merge "Add function to upload image from local/url in GUI"

Add common openstack opertation scenarios: router & port

JIRA: YARDSTICK-781

This patch adds some common openstack opertation scenarios

Change-Id: Id436a201aa04f8f6b98576e8fbf599ca3654827c
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Removed unnecessary image definitions and flavor names.

Change-Id: I13464d997ff9aba09a6cff7d3ff62f29df770a38
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Merge "add ppm into result of pktgen to make result clear"

Merge "nsb: update HEAT testcases"

Added proxy setup for standard cloudimage playbooks.

Change-Id: I4f29f584395d58b2fcece1ca8fcbda78a64e3a66
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Standardized TRex client library path

- path should be defined via TREX_CLIENT_LIB environmental variable e.g. TREX_CLIENT_LIB=/opt/trex_client/stl
- refactored unit tests

Change-Id: I18767e48daf774432c010f1b88d18a4f0ee4e156
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

nsb: update HEAT testcases

use yardstick-samplevnfs image name
always create DPDK flavor, we require 1 socket, 10 cores
remove hardcoded external network
add gateway_ip: null to prevent multiple default gateways ssh bug with Heat
add enable_dhcp: false

Change-Id: I85787b72bf6ebf1c330f20f50f7a7a2b12aa995e
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

ansible: update dpdk, trex and samplevnf install

we now clone samplevnf from git repo
made install_samplevnf role that takes as parameter VNF name
added ubuntu_server_cloudimg_modify_samplevnfs playbook

Change-Id: I5724e3b844b3137542a5c293516893a5c80f5c61
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Add function to upload image from local/url in GUI

JIRA: YARDSTICK-782

As user, we need to upload image from local/url.
If upload image from local, user need to choose local image, then
we will load it to openstack.
If upload image from url, we will download it and load it to openstack.

Change-Id: Ia9a42fda15a1dfc91476643635343a2f77a94a6b
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Fixed invalid vfw/vacl rulw config issues

Change-Id: Ib96bc4bec359005e04e4a839846779d918881ba4
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Fixed 1C/2T configuration issues.

Change-Id: I361d88043076c2f901ff6df22f2849edc7559ba0
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Fix Scale-up issue in HWLB

Change-Id: I62e23bf0c9811ecf0eedb1cd8adc8cf541cd4b7e
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Add common openstack opertation scenarios: volume & floating ip"

Merge "samplevnf_helper: use network address"

Merge "Re-define the framesize and flow dynamic define in testcase"

Merge "ssh: add new get_file_obj method to fetch remote files"

improve tc002 to make packet size parameterize

JIRA: YARDSTICK-793

Change-Id: I95d014ad3d2e19dd2df1f5e72d994da2f44d4544
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Add test case file, document and related scripts of yardstick
tc057(HA_TC014)

JIRA: YARDSTICK-779

Change-Id: I6a812b1c88229b20a0dd0ce5bc135c9ba15266db
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>

Add rpm,image directories and SLA options to Livemigration

This patch includes adding of rpm and image directories in addition
to scripts directory for execution of live migration test case and
SLA options for downtime,totaltime and setuptime.

Change-Id: I22747b978aa16b6c3ee9e3cdd05cf77a10207626
Signed-off-by:RajithaY<rajithax.yerrumsetty@intel.com>

Test case: add test config file for TC078 and TC079

Change-Id: I47c6f1bf85caa814f019a8aec446c99bb8d99f0d
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Add common openstack opertation scenarios: volume & floating ip

JIRA: YARDSTICK-781

This patch adds some common openstack opertation scenarios

Change-Id: I1300a61b389202242f112b6d280ab47746379546
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Add test case file and document of Tardstick TC056(HA_TC013)"

Merge "Add test case file, document and related scripts of yardstick tc058(HA_TC015)"

Collectd Fixes

This fixes collectd installation as well as configuration:
1) Proxy fix, avoid overriding env proxy if already specified under
   'http_proxy' env var and not specified on cmd
2) Install 'libvirt-dev' for 'virt' collectd plugin
3) Using dpdk already downloaded by nsb_setup rather than getting latest
   , because master branch dpdk is failing while building eal_memory
4) Fix typo while checkout new branch

Change-Id: I0cc36f49d48d80f7edc35634dfe77016bd35978a
Signed-off-by: Dhaval Patel <dhaval.r.patel@intel.com>

Test case: Fio volume benchmark testcase using job file

JIRA: YARDSTICK-791

In some use cases, Fio is used with a job file instead of parameters.
This work is about adding support for the job file and add a new test case
for volume testing.

Change-Id: I312d61bf6e7d95f23eedb0b6487f6103b7d76355
Signed-off-by: JingLu5 <lvjing5@huawei.com>

DRAFT: update yardstick generic test cases dashboard

current dashboard is obselete and hard to understand
add local grafana dashboard automatically import by
"yardstick env grafana"
update grafana version to latest steady

Change-Id: Iffae9170231d3e0867a52a1f6b5e99c4650b7326
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Add common openstack opertation scenarios: subnet & port"

Merge "Enable vnf/tg instantiate as blocking call."

ssh: add new get_file_obj method to fetch remote files

We can either cat remote files, or we can just sftp get
them.

use sftp get for /proc/cpuinfo since it can be so very large
on systems with 88+ cores.

Change-Id: I420b8c5eefdce8bb3e3b13dcc8257583dee537c1
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "test_vsperf_dpdk: remove unused and incorrect mock open"

samplevnf_helper: use network address

use network address with netmasks to be proper

ports_mac_list is no longer valid, remove it

nd_route_tbl needs to default to something otherwise
the VNF will segfault if it receives IPv6 on the port,
which it will because something in Neutron is sending
out IPv6 packets.

disable use of the routing table gateways to set arp add.
We set the next hop IP to always be the TG IP address,
so we need to always use the TG IP in arp add to send
to the TG MAC address

don't use gateways to get local addresses.

we can't use gateways because with OpenStack if we define
a gateway is breaks the default route and we can no longer
connect to the instance via floating IP.

Change-Id: I0ebefe8ac09812b6030046f73bf772edda1c7d27
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Re-define the framesize and flow dynamic define in testcase

This patch adds the framesize and flow into test option instead of
adding a seperate file to avoid the multiple file update incase of ip
change.

Change-Id: Ic473c73773ad36422ecc02618b8c646a5336b70a
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Refactor to make file sys more like class inheritance"

Refactor to make file sys more like class inheritance

Change-Id: I5471d2e894ca78407a57f3ba01202264c69ad174
Signed-off-by: Edward MacGillivray <edward.s.macgillivray@intel.com>

add ppm into result of pktgen to make result clear

Change-Id: I6649960dc9fbc61c22c9b7434805fc335634960b
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

vnf_generic: fixup topology probe logic

fix exception handling

Change-Id: I46fd0dbf21f3d3308e4f38fcfae5df2716ad7190
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

bugfix: tc063 fails to get the correct result in ubuntu node

Change-Id: If96dc008d898a77445246aa7e9c98fab160626df
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

test_vsperf_dpdk: remove unused and incorrect mock open

need to use create=True with mock open anyway

Change-Id: I3a35688cf8c367434db9d0cf057030d49deddd0d
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

remove apexlake-verify

Change-Id: I5ac8e5d573c390460e2472c7b3b4649cc78dd295
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Add common openstack opertation scenarios: subnet & port

JIRA: YARDSTICK-781

This patch adds some common openstack opertation scenarios

Change-Id: Ie59f0d5ae0842f8347824c961436b889a95b1a72
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Add common openstack opertation scenarios: network"

Merge "import_modules_from_package: refactor with generators"

Merge "Fix IxLoad traffic generator issue around running the traffic."

Merge "Support traffic generator for testing more than 10 ports"

Fix IxLoad traffic generator issue around running the traffic.

Change-Id: Ic1f13c0d28c1a1b01bbf3c8a6a618a5b3ab5bbeb
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

import_modules_from_package: refactor with generators

remove ..... split and use os.path.relpath to remove
prefix
use set operations to find missing modules, so we
don't need to check dict contains multiple times

Change-Id: I9531360fb9b2999e83874f144f1d06d825b22b2c
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Fix parsing of the results from collectd plugins

Change-Id: I3f7b9ca17164564b11517116e7e73b47f42243b9
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Support traffic generator for testing more than 10 ports

Change-Id: I9c027af082cedbadc23b0151d403dab4e9756da4
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Fix import error in IxNetwork

This patch fixes import error related to ixnetwork and do not wait for
TG server to start as IXIA is always running :)

Change-Id: I49d6b100eadafad75431cb8974605a6faa496f23
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

improve tc055 results

Change-Id: Ib1282c75c5f9cdc416bedf5c7a2e2d3f44c737f1
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

samplevnf: fix make_ip_addr

we get TypeError sometimes, so
we need to catch them

Change-Id: I5fc58006f18acf84f62d8f4a21077d71b2fb0ed8
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "utils: create TASK_LOG_DIR if it doesn't exist"

Merge "Verify the route list before parsing the data key"

Merge "run_traffic: capture and exit gracefully if crash in trex run_traffic"

Merge "YAML fixes"

Verify the route list before parsing the data key

Exception:
line 502, in get_route_data
return next((route[data_key] for route in route_list if route['if'] ==
port), None)
TypeError: 'NoneType' object is not iterable

Change-Id: Ia45d90a4e9a61cb917b23efd03b86eafb249b747
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Remove redundancy file and do relative modification"

YAML fixes

There are multiple issues wiht YAML loading.

1. Jinja2 renders None values as a string 'None'.  This is not valid YAML
we need to render None values to '~' or 'null' which is the native YAML
None value.

2. Jinja2 renders dict and lists that contain unicode with
u'foo' values.  This is not value YAML syntax.
Because we are serializing dict and lists into YAML, we
need to encode them as valid YAML.  We can override Jinja2 finalize to
use yaml.dump to dump inline YAML.

We use yaml.safe_dump(elem, default_flow_style=True).replace('\n', '')
to generate valid single-line YAML dict and list values.

But this problem highlights the general difficulties with templating and
loading files.
We could avoid this Python->Jinja2->YAML->Python issue by directly
injecting the list or dict after the YAML is loaded.

I'm not sure of the real utility of these templates.

3. On Python 2 YAML loader is rendering all strings
as unicode.  This does not work for Trex because Trex is broken
and badly coded.  Trex does type checking against str() which
is different for Python 2 and Python 3.
The default YAML loader will return native string types, str() or unicode()
for Python 2 and Python 3 respectively.

The bad Trex codes is in convert_val:

https://github.com/cisco-system-traffic-generator/trex-core/blob/master/scripts/automation/trex_control_plane/stl/trex_stl_lib/trex_stl_packet_builder_scapy.py#L674

def convert_val (val):
    if is_integer(val):
        return val
    if type(val) == str:
        return ipv4_str_to_num (is_valid_ipv4(val))
    raise CTRexPacketBuildException(-11,("init val invalid %s ") % val  );

This code is doing type(val) == str.  This is bad and broken.
We can't fix Trex, so we have to render all strings as native str() types

The bug here was that the Heat template loader template_format.py
was overriding the global YAML loader to always return unicode.
We don't want this global override.

To fix this we have to use local subclasses of the yaml.SafeLoader
class.
But in order to dynamically subclass from CSafeLoader or SafeLoader
we have to use the type() builtin to define a new class at runtime.

Once we have new classes defined, we can safely isolate different
YAML constructors and return unicode or not depending on the case.

To be consistent we implement a new yaml_loader.py module to centralize
all non-Heat template yaml loading to ensure correct uncode/str
conversion

Change-Id: Iebf9cf78fbda390977c390436b0869e7bbf503eb
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

run_traffic: capture and exit gracefully if crash in trex run_traffic

new non-blocking code of run_traffic has raise condition which causes
trex client to exit with STLError. This patches captures the exception
and exit gracefully

Traceback (most recent call last):
File "/usr/lib/python2.7/multiprocessing/process.py", line 258, in
_bootstrap
self.run()
File "/usr/lib/python2.7/multiprocessing/process.py", line 114,
in run
self._target(*self._args, **self._kwargs)
File
"/opt/nsb_bin/yardstick_venv/lib/python2.7/site-packages/yardstick-0.1.dev0-py2.7.egg/yardstick/network_services/vnf_generic/vnf/sample_vnf.py",
line 945, in _traffic_runner
self.resource_helper.run_traffic(traffic_profile)
File
"/opt/nsb_bin/yardstick_venv/lib/python2.7/site-packages/yardstick-0.1.dev0-py2.7.egg/yardstick/network_services/vnf_generic/vnf/sample_vnf.py",
line 506, in run_traffic
self._run_traffic_once(traffic_profile)
File
"/opt/nsb_bin/yardstick_venv/lib/python2.7/site-packages/yardstick-0.1.dev0-py2.7.egg/yardstick/network_services/vnf_generic/vnf/tg_rfc2544_trex.py",
line 63, in _run_traffic_once
self.client.stop(self.my_ports)
File
"/opt/nsb_bin/trex/scripts/automation/trex_control_plane/stl/trex_stl_lib/trex_stl_client.py",
line 1202, in wrap2
raise STLError("'{0}' - connection to the server had been lost: '{1}'".format(func_name, client.conn.get_disconnection_cause()))
STLError:

Change-Id: Ie5741339451e0a3f9c4bb48f64fd35d86d18e5d4
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

html_template: can't use iteritems, use items

iteritems is not supported in Python 3
we have to use items()

Change-Id: Ib923dfea4220eeab311949c9f6f420fef378e98a
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Enable ixnet traffic generator to run traffic

Change-Id: I8d7cea75aa864c37a058a154a38c9828ea5da434
Signed-off-by: Deepak S <deepak.s@linux.intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Moving trex to latest version (v2.28) to support new NICs

Change-Id: I81e119deec36ae90749c2eb1d555f75475ce2474
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Merge "Download the right dpdk bind tool before starting the test case"