Merge "Add UT: ArithmeticRunner exception handling"

IXIA traffic mac address is set incorrectly

IXIA API sets the src/dst mac of the traffic always into
default value. The `srcmac`/`dstmac` is never set in `traffic_param`
map [1]. Instead the src/dst mac is stored in traffic_param[`outer_l2`].

[1] https://gerrit.opnfv.org/gerrit/gitweb?p=yardstick.git;a=blob;f=yardstick/network_services/traffic_profile/ixia_rfc2544.py;h=44bf2eafc7f8cf03ebd2c8520d316358fe1e5fc2;hb=HEAD#l92

JIRA: YARDSTICK-1423

Change-Id: Iabab7a54404b284d3b95bbea6c8624233c138351
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "Update configure_uwsgi run in baremetal/container"

Merge "Revert "Bugfix: ansible version should be the same both in Dockerfile and requirements.txt""

Merge "Create a sample fio test case base on kubernetes"

Merge "Create a sample lmbench test case base on kubernetes"

Merge "tc046 kill keystone process condition incorrect - dovetail"

Update configure_uwsgi run in baremetal/container

Now "daemonize" prevents from installing Yardstick on baremetal.
Configuring:
"daemonize" in case "container" installation mode;
"logto" in case "baremetal" installation mode;

JIRA: YARDSTICK-1395

Change-Id: Ie390464db9c0816583edc711ed6526629d091bd3
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Add IxNextgen API for creating PPPoX configurations"

Create a sample fio test case base on kubernetes

make samples/fio.yaml to support both Openstack and K8s
with context_type specified. It defaultly use Heat context, if
for k8s,
    yardstick -d task start samples/fio.yaml --task-args
    '{"context_type": "Kubernetes"}'

JIRA: YARDSTICK-1309

Change-Id: I2b0d61cf2f197ec8c60bda0ab4ff51594709f482
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Add container pull option to install.yaml"

Create a sample lmbench test case base on kubernetes

make samples/lmbench.yaml to support both Openstack and K8s
with context_type specified. It defaultly use Heat context, if
for k8s,
    yardstick -d task start samples/lmbench.yaml --task-args
    '{"context_type": "Kubernetes"}'

JIRA: YARDSTICK-1310

Change-Id: Ifa542e830fb5ab7823bd4f994ab5d7a8e8a5b415
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Add k8s scenario test suite in Gambia"

Revert "Bugfix: ansible version should be the same both in Dockerfile and requirements.txt"

This reverts commit 662de49b9f6c116d15882aed9e678cd3cf67494b.

JIRA: YARDSTICK-1411

Change-Id: Id277aa8711c9ff77e085d26c90546eecc3490535
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

tc046 kill keystone process condition incorrect - dovetail

Change-Id: If01abfd5a99b4cea74f835e258f3a982af9446cd
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Add IxNextgen API for creating PPPoX configurations

New IxNextgen API allows to perform the following configurations on IxNetwork:
 - add topology
 - add device group to topology
 - add ethernet protocol layer to device group
 - add ipv4 protocol layer to device group
 - add pppox protocol layer to device group

JIRA: YARDSTICK-1408

Change-Id: Icf5bb5f24784cf2c167c515b04c81471ac425e38
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Add k8s scenario test suite in Gambia

JIRA: YARDSTICK-1410

Change-Id: I23b4c0bcfa9aa431e259930a41d4171ff5b4e8a1
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Fix CLI argument handling in nsb_setup.sh

CLI argument $1 was used for both admin-openrc file with OpenStack
credentials and Yardstick Docker image, so obviously one of them would
be wrong, and NSB setup would fail at some point.

Historically, admin-openrc could be supplied as CLI argument $1, but
change https://gerrit.opnfv.org/gerrit/56493 broke it, which means
specifying Yardstick Docker image as CLI argument never worked.

This fix implements support for the following CLI options:
  -o openrc     Specify admin-openrc file with OpenStack credentials
  -i image      Specify Yardstick Docker image
  -h            Provide usage information

For backward compatibility reasons, admin-openrc file can be supplied
either with the -o option, or as a CLI argument.

JIRA: YARDSTICK-1137

Change-Id: I3e9904970560468c24b21738203bc67b7591f9e4
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Merge "Merge latest changes to Dashboard from L2FWD to L3FWD dashboard"

Merge "NSB NFVi PROX Missing VNF Statistics for CPU Utilization"

Merge latest changes to Dashboard from L2FWD to L3FWD dashboard

Come changes re: Status == "Result" and Status == "Success" and
L3FWD changes onto latest L3FWD Dashboard

Change-Id: I62d0cfc30167085ad5efe348ab118f1defbc4901
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

NSB NFVi PROX Missing VNF Statistics for CPU Utilization

JIRA: YARDSTICK-1404

The test scripts require an extra argument to support collectd.

Also the CPU utilization is a different variable name structure
in the JSON file.

Change-Id: I127b7e86c0f93f7743331a2d71eb81d690e42471
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Add UT: ArithmeticRunner exception handling

* Use time.sleep to avoid multiprocessing.Queue broken pipe error.

JIRA: YARDSTICK-1245

Change-Id: I1ef1f8e68a553278996b38c226314c13dd974faa
Signed-off-by: Miikka Koistinen <miikka.koistinen@nokia.com>

TRex IMIX data must return percentage value

Function "_create_imix_data" must return the weight in percentage, not in
absolute value.

JIRA: YARDSTICK-1406

Change-Id: I3bc409bab17ae5778a6783f4319699009a5437fa
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Add container pull option to install.yaml

Supported Yardstick installation modes in yardstick.yaml: baremetal
and container. First is used to install Yardstick on baremetal,
another is used during docker build to install Yardstick in container.

Added third option: 'container pull': to pull docker image
(opnfv/yardstick) from Docker hub and start container.

JIRA: YARDSTICK-1392

Change-Id: I4158de3eb6fcbe0018a15fdda89a3e3ab29c26bb
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Adopt infra_deploy to spawn VM on LTS Ubuntu 18"

Merge "Add source and destination seed value in IXIA RFC2544"

Adopt infra_deploy to spawn VM on LTS Ubuntu 18

Add possibility ro reuse infra_deploy.yaml to spawn VMs on jump host,
depending on jump host Ubuntu version: either 16 or 18.

JIRA: YARDSTICK-1396

Change-Id: Id0682c03098e611fe3a51cbd24d8ff2dda7c552a
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Assign static IP to VM for standalone context"

Updated documentation for stanalone context

Added details about hosts configurations in order to run tests for
standalone context.
Changes made to '13-nsb-installation.rst'.

JIRA: YARDSTICK-1402

Change-Id: I4e3304065343014a80b85fc712cdde3ca62d8b2e
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Assign static IP to VM for standalone context

During VM spawning IP address should be assigned by DHCP server in
the local network. Sometimes DHCP server is not capable to assign IP
address. So, need to add static IP address.

JIRA: YARDSTICK-1402

Change-Id: Ie59c340eb88eddcaff043496fc20aa48b49205ec
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Bugfix: ansible version should be the same both in Dockerfile and requirements.txt

Because Dockerfile is using ansible script to install yardstick requirements.
Or it may lead to exception when installing Yardstick.

Change-Id: Ia83cf76675a7f3f1d0aa5c311e7b72be5c7ca5c3
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Bugfix: openstack router list broken in Yardstick container - dovetail"

Merge "Change tc_trex files to execute standalone tests"

Add source and destination seed value in IXIA RFC2544

Add source and destination seed value in IXIA RFC2544 traffic profile.
The default value for both parameters is 1.

JIRA: YARDSTICK-1401

Change-Id: I3351194c8be9ac42cbf5655996d50b9b69884c72
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Make TRex IMIX traffic mode configurable"

ping bottlenecks failed when security group rule do not support ipv6 - dovetail

JIRA: YARDSTICK-1380

Change-Id: I2163eeb9ab17e4f0216ddaed688e78acdf51a1ff
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Make security group configurable - dovetail"

Bugfix: openstack router list broken in Yardstick container - dovetail

Dependancy of python-openstackclient is not constrained.
This patch specify openstacksdk and openstackclient's version according to [1].

This patch apply for bugfix and need to backported to fraser stable branch.
Continual work need to be done in Gambia according to YARDSTICK-1398.

[1]
https://github.com/openstack/requirements/blob/stable/pike/upper-constraints.txt

JIRA: DOVETAIL-728

Change-Id: I57c718e192699ac322150458d18508b06c93d22b
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Make TRex IMIX traffic mode configurable

Enable TRex IMIX generation using two modes:
  - Distribution in packages.
  - Distribution in byes.

The default one will be distribution in packages, like the default
one in IxNetwork.

JIRA: YARDSTICK-1397

Change-Id: I86b2527968496218b0515349fc0a2680a84261e5
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Fix setting `flow` configuration in TC yaml"

Merge "Fix issues with 'Success_' stats reported by ProxBinSearchProfile"

Merge "Runners crash on test startup."

Merge "Provide access to VM in Standalone context"

Merge "Provide average latency results in IXIA KPIs"

Runners crash on test startup.

JIRA: YARDSTICK-1393

The problem resides in this traffic generator class: this class
is inheriting from SampleVNFTrafficGen and overriding the
__init__ method but is NOT calling the parent class __init__
one.

Change-Id: I206a66e361a3e2eb50bb5fa01ddadae25b4a9f54
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Provide access to VM in Standalone context

Add possibility to access VM with SampleVNF image, which is spawned on
baremetal server using password or key pairs (provided or generated).
Changes provided for OVS-DPDK and SRIOV cases.

JIRA: YARDSTICK-1260

Change-Id: I89cf17dc83f02abe23d206b24b9d0ec1298d3231
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Fix issues with 'Success_' stats reported by ProxBinSearchProfile

List of changes:
  - Added 'Status' field to indicate status of each search iteration.
    Possible values are 'Success', 'Failure', 'Result'.
  - Removed reporting of duplicated stats with 'Success_' prefix.
    Instead 'Status' field is set to 'Success'
  - Removed reporting of duplicated stats with 'Result_' prefix.
    Instead 'Status' field is set to 'Result'
  - Updated Prox_BM_L2FWD-4Port_MultiSize-1518452496550.json dashboard
    to query success and result status by 'Status' field value.

JIRA: YARDSTICK-1386

Change-Id: I9a21a102af6cb4db137e805011b5d81c4943d77b
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Provide average latency results in IXIA KPIs

IXIA KPIs will provide an average value of all port latency values:
max, min and avg.

JIRA: YARDSTICK-1394

Change-Id: Ib7c7b5300e8343a1af0a20cb4e49c0bd669c1143
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Add virtual image generation to install script"

Merge "Improvie TRex RFC2544 throughput calculation"

Merge "Convert IXIA latency statistics to integer"

Convert IXIA latency statistics to integer

JIRA: YARDSTICK-1385

Change-Id: Id50c393da7ded4b3c8e127f7d7a6501832a68446
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Make TRex latency statistics optional"

Merge "NSB NFVi PROX BNG and vPE losing many packets"

Merge "the recovery action of "baremetal down" should be triggered mandatory"

Make TRex latency statistics optional

Because of performance issues in TRex due to the extra power needed to
retrieve the latency statistics, this parameter will be optional and disabled
by default.

JIRA: YARDSTICK-1388

Change-Id: I07c0ec7bef86fd438d078cbd6748b98bc8cc0b37
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Improvie TRex RFC2544 throughput calculation

Improve TRex RFC2544 throughput calculation by using the in/out packets
instead of using the throughput samples.

JIRA: YARDSTICK-1387

Change-Id: I877e901c3226d31c6435a877a2924bb95deb1cf0
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Fix RFC2544 IXIA latency information

Do not overwrite the samples information with the latency parameters.

JIRA: YARDSTICK-1385

Change-Id: I2f144800ad19d7736eedf5c7b6783731031c4bf4
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Make security group configurable - dovetail

Make sercurity group can be configured via the context.
The format would be:
context:
  name: demo
  image: yardstick-image
  flavor: yardstick-flavor
  user: ubuntu
  security_group:
    rules:
        - remote_ip_prefix: "0.0.0.0/0"
          protocol: "tcp"
          port_range_min: 1
          port_range_max: 65535
        - remote_ip_prefix: "0.0.0.0/0"
          protocol: "udp"
          port_range_min: 1
          port_range_max: 65535
        - remote_ip_prefix: "0.0.0.0/0"
          protocol: "icmp"

JIRA: YARDSTICK-1360

Change-Id: I00c45767ee2d70b790590e824599d5a4c274bced
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Improve IXIA TG Rx/TX throughput calculation"

Add RFC2544 IXIA latency information

JIRA: YARDSTICK-1385

Change-Id: Icecceaabc0389279a3a7154884c50259f794eb76
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "IXIA traffic stops running after first iteration"

Merge "Disk Initialization and Custom Workload"

Improve IXIA TG Rx/TX throughput calculation

Use float instead of integer to convert TG throughtput
IXIA statistic.

JIRA: YARDSTICK-1378

Change-Id: I39bd143adc4b10035c6f0986a06d407a18aa0887
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Fix setting `flow` configuration in TC yaml

The `flow` configuration is not applied to the traffic
profile if `seed` or `count` option is missing in the
TC definition.

- Fix `seed` backward compatibility.

JIRA: YARDSTICK-1383

Change-Id: Ic874fb2be1c13009f94eb3a80194bfe81d7a923b
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Add virtual image generation to install script

Update install.yaml with image generation: nsb and normal.

JIRA: YARDSTICK-1198

Change-Id: I3b8773e9b3b9890ae8623bb6536d05f1151d84a8
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "[docs] Remove the VTC chapter in the userguide"

Merge "Fix KPI data reported by ProxBinSearchProfile"

Fix TRex RFC2544 traffic profile tolerance definition

In TRex RFC2544 traffic profile, the tolerance limit is not set correctly.
The parameters "tol_high" and "tol_low" in "get_drop_percentage" are
incorrect.

The tolerance limit should be reduced to 0.01.

JIRA: YARDSTICK-1382

Change-Id: If5fc1f3aec86effabd7903e0924724fe7eeb42ab
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Change tc_trex files to execute standalone tests

Changes made in test cases for trex TG files to be able to run tests
for standalone setup (OVS-DPDK/SRIOV).
- tg__0: trafficgen_1

Changes to improve templates for tc_trex:
- flavor: images: changed to default name: yardstick-nsb-image.img
- default path for files under contexts section
- RAM size

JIRA: YARDSTICK-1368

Change-Id: Ida85de219acd566840de1a94975b8050c7f59b9b
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Bugfix: pylint fix for yardstick/orchestrator/heat.py (no-value-for-parameter)"

Fix KPI data reported by ProxBinSearchProfile

List of changes made in ProxBinSearchProfile:
  - Removed reporting of redundant records with zero values
  - Fixed issue with results data from one step reported in the next step
  - Added 'Step_Id' field to reflect to which search step current record belongs
  - Added 'Confirmation_Retry' field to reflect retry number of current test.
    This value depends on 'confirmation' configuration option of a runner.

JIRA: YARDSTICK-1379

Change-Id: Idc3f7e26ece41ac0dfbfee659daf310a2879e024
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Merge "Add QinQ support for IXIA traffic profile"

IXIA traffic stops running after first iteration

IXIA traffic stops running after first iteration when
traffic profile duration is set to 60 sec.

JIRA: YARDSTICK-1374

Change-Id: I216b98d43b66aabc72ed88e895b89e28572b264f
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>
Signed-off-by: Myron Sosyak <myronx.sosyak@intel.com>

Disk Initialization and Custom Workload

Removes the deprecated nowarm and nosdd parameters from the
call to StorPerf.

Adds a call to initialize the disk right after the stack
creation is complete so that the results from the
performance run are valid and not skewed by a disk that
is not operating at a consistent level of performance.

Adds the jobs API v2.0 when the custom parameter 'workloads'
is used instead of workload.

Improves documentation and adds more info about the
workload and workloads parameters.

Co-Authored-By: Ameed Ashour <Ameed.Ashour.Ext@nokia.com>
Change-Id: I17e96028f6a82e2c800c8f73c7be866e1cab6ad8
JIRA: YARDSTICK-1322
Signed-off-by: mbeierl <mark.beierl@dell.com>

Merge "Add UT: DurationRunner worker exception handling"

Merge "Add UT: DurationRunner worker normal operation"

Add QinQ support for IXIA traffic profile

Implemented logic for parsing and applying QinQ in IXIA traffic profile.
For QinQ configuration add QinQ section to outerl2 section.
For example:
...
  outerl2:
    QinQ:
      S-VLAN:
        id: 128
        priority: 0
        cfi: 0
      C-VLAN:
        id: 512
        priority: 0
        cfi: 0
...

JIRA: YARDSTICK-1370

Change-Id: I29caa9eb7dd038e7de66faab316f03c7c29a742f
Signed-off-by: Myron Sosyak <myronx.sosyak@intel.com>

Bugfix: pylint fix for yardstick/orchestrator/heat.py (no-value-for-parameter)

Problem
op_utils.get_volume_id takes 2 arguments and only pass 1. This would
cause tc006 fail!
volume_id = op_utils.get_volume_id(volume_name)
it will cause:
Running pylint...
You can speed this up by running it on 'HEAD~[0-9]' (e.g. HEAD~0, this
change only)...
Using config file /home/opnfv/repos/yardstick/.pylintrc
************* Module yardstick.orchestrator.heat
E:235,20: No value for argument 'volume_name' in function call
(no-value-for-parameter)

To Do
It doesn't need to call get_volume_id here, just use heat get_resource
would be enough. This fix should work with tc006 test case.

JIRA: YARDSTICK-1371

Change-Id: I913ffd085f742ae4464dbcc4269719e2c50e37b5
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Fix duration value for IXIA traffic item

Removed code that overrides duration value in the update_frame
function

JIRA: YARDSTICK-1369

Change-Id: Ice06e4fbba4ec93ae086671a2530d521510f89da
Signed-off-by: Myron Sosyak <myronx.sosyak@intel.com>

Merge "Change assert statements to raises in CheckValue"

Merge "Separate out test_parse_to_value_exception()"

Merge "[workaround] Disable gui for aarch64"

Merge "Bugfix: HA test case baremetal down ipmi power off failed - dovetail"

Merge "Add UT: ArithmeticRunner worker normal operation"

Merge "Add unit test file for ArithmeticRunner"

Merge "IXIA: Add IP random range `seed` configuration option"

Merge "Add UDP ports configuration to IXIA traffic profile"

Merge "Change AutoConnectSSH to return error code by default"

IXIA: Add IP random range `seed` configuration option

Added IP random range `seed` configuration option into IXIA
traffic profile.

JIRA: YARDSTICK-1364

Change-Id: Ic050b6cc48ea75ac6d0470bf7ec1b188649811e1
Signed-off-by: Sosyak, Myronx <myronx.sosyak@intel.com>
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

NSB NFVi PROX BNG and vPE losing many packets

JIRA: YARDSTICK-1101

The traffic generated by the generator in bng-4 result in
non-symmetrical use of the cores on the SUT, as a whole
range of IP addresses is skipped.

Update cpe0 and cpe1 in gen files.

In addition, for the routing table (ipv4.lua) for the BNG
should be slighly different: while the BNG is a 4 ports
test, only 2 of the ports are used as outgoing routing
ports (the inet ports). Hence, the routing table should
only use the mac of those two ports. The bad configuration
(using 4 ports) result in an issue when BNG SUT and GEN
are connected through a switch, packets are sent by the
BNG SUT through the INET interfaces, but sometimes with
the MAC of the CPE interface...

Hence, packets are received on the wrong interface on the
Gen site (resulting in some interfaces, the CPE ones,
being overloaded)

Created ipv4_bng.lua and remove mac 0 and 2

Change-Id: I97019f0415d2f58d50ec855d04800eb705f41541
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Add UDP ports configuration to IXIA traffic profile

- Implemented handling of UDP source and destination ports from
  IXIA traffic profile.
- UDP ports can be defined as a single value or as a random range.
  Ports range is configured with two parameters 'fixed_bits' and
  'mask_bits'.
- For example '8-48' range definition will create a repeatable
  pattern of four values that fall within the range of 8 and 56.

JIRA: YARDSTICK-1363

Change-Id: I0ace722f6be843ea79c3d3f4de22cb8fa5669d4f
Signed-off-by: Myron Sosyak <myronx.sosyak@intel.com>
Signed-off-by: Pshyk Serhiy <serhiyx.pshyk@intel.com>
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "Remove hw_video_model and hw_firmware_type from metadata"

Merge "Replace assert statements in PipelineRules"

Change AutoConnectSSH to return error code by default

AutoConnectSSH execute method always returns exception when remote
command returns non 0 ret code. This behavior has been introduced
by https://gerrit.opnfv.org/gerrit/#/c/58579/ changes which break
the NSB functionality. There are 200+ places where return code
(event non zoro) is expected to be returned by
AutoConnectSSH.execute() method. Right now the method returns
always exception in case of remote command return not zero which
causes the problem.

Changed execute() method to have previous behavior (raise_on_error
is always False by default) and the exception is raised only in
case if raise_on_error=True is set explicitly.

Added UT.

JIRA: YARDSTICK-1365

Change-Id: Ib067583ea5eb704b9174084b45b920c24eb307ac
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Separate out test_parse_to_value_exception()

Separate out test_parse_to_value_exception(self)
into 3 different methods:
    test_parse_scanner(self)
    test_parse_parser(self)
    test_parse_reader(self)

This ensures that each side effect is tested, even if one fails.

JIRA: YARDSTICK-940

Change-Id: Ifdc84284c633fe1ddc1acf9cd985c5144030b430
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Remove hw_video_model and hw_firmware_type from metadata

Starting with the Openstack Queens release,
hw_firmware_type=uefi is implied on AArch64 by default
Using virtio-video, now default in nova, should be used
instead of VGA

JIRA: ARMBAND-388

Change-Id: If52206e2a2f0a05bde5632c91de9367fffdc2eb3
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Replace assert statements in PipelineRules

The class PipelineRules uses assert statements to check the correctness
of an input parameter IP address. This commit will modify these lines
to use a dedicated function "common.utils.make_ipv4_address".

JIRA: YARDSTICK-966

Change-Id: I1c4cc439a7716d36548125c87dfb0bc200714a56
Signed-off-by: Miikka Koistinen <miikka.koistinen@nokia.com>

[workaround] Disable gui for aarch64

Currently the aarch64 yardstick image doesn't build because phantomsj and bower
don't install properly. Temporarily disable gui for aarch64 only so we can
still get the other updates.

JIRA: ARMBAND-391

Change-Id: I64f892641c7bdb1cb3a65b210f71b093878b1688
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>