tests: Improvement of step driven testcases 15/35715/2
authorMartin Klozik <martinx.klozik@intel.com>
Thu, 18 May 2017 09:18:38 +0000 (10:18 +0100)
committerMartin Klozik <martinx.klozik@intel.com>
Fri, 2 Jun 2017 12:39:21 +0000 (13:39 +0100)
commitde6fc4b670fc42fc96f27f375fbcf7a099629434
tree4b2b87baef82fffee6645d428794ee83a09da893
parent862ef28b808aca4dd75cc44a83023362dcce1969
tests: Improvement of step driven testcases

A set of improvements was introduced to enhance step driven
testcases capabilities.

Details:
* delay among test steps is configurable by TEST_STEP_DELAY
  parameter
* step driven tool function exec was renamed to exec_shell
* new step driven tool function exec_python was introduced to execute
  a python code
* new step driven object sleep was introduced to pause test execution
  for defined number of seconds.
* fixed bug in settings.validate_getValue() to correctly validate
  access of parameters modified by TEST_PARAMS
* new #PARAM() macro was introduced to allow references among
  configuration parameters
* multistream support has been added into ixnetrfc2544v2.tcl,
  which is used for tunneling protocols test (op2p deployment)
* fixed bug in op2p deployment to list interfaces and flows
  from both bridges involved in the test
* test report updated to state exact rfcxxxx type of traffic
  type, e.g. rfc2544_continuous
* test report of step driven testcases was updated to contain
  measured values from traffic generator in CSV report
* method for ovs flow comparison was modified to normalize
  IPv4 CIDR network addr (e.g. 10.0.0.5/8 => 10.0.0.0/8)

JIRA: VSPERF-512

Change-Id: Ib4f38dcdfbf3820dd766b25520da0ad0c81f3293
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Al Morton <acmorton@att.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>
Reviewed-by: Sridhar Rao <sridhar.rao@spirent.com>
Reviewed-by: Trevor Cooper <trevor.cooper@intel.com>
Reviewed-by: Ciara Loftus <ciara.loftus@intel.com>
18 files changed:
3rd_party/ixia/ixnetrfc2544v2.tcl
conf/00_common.conf
conf/01_testcases.conf
conf/__init__.py
conf/integration/01_testcases.conf
core/traffic_controller.py
core/traffic_controller_rfc2544.py
core/traffic_controller_rfc2889.py
core/vswitch_controller_op2p.py
docs/testing/user/userguide/teststeps.rst
docs/testing/user/userguide/testusage.rst
src/ovs/ofctl.py
testcases/integration.py
testcases/testcase.py
tools/report/report.py
tools/teststepstools.py
vnfs/qemu/qemu.py
vsperf