dump CI failures with kpartx and no /dev/loop devices

CI is failing due to unable to find loop device for kpartx

"cmd": [
    "kpartx",
    "-l",
    "/tmp/workspace/yardstick/yardstick-xenial-server.raw"
]

"stderr": "mount: could not find any device /dev/loop#Bad address\ncan't set up loop",

This error occurs when kpartx can't find any loop devices to use

https://build.opnfv.org/ci/job/yardstick-compass-virtual-daily-master/3261/console

JIRA: YARDSTICK-1054
JIRA: YARDSTICK-1096

Change-Id: Ib6131ce29c4f9e81386eb5471dd6107825798620
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

yardstick image: use growpart instead of parted

parted doesn't handle growing GPT partition correctly, so switch to
growpart

see https://github.com/opnfv/fuel/blob/master/mcp/scripts/lib.sh#L133

for example

If the yardstick image uses GPT then parted complains about the GPT
table

The warning is "Warning: Not all of the space available to
DEVICE appears to be used, you can fix the GPT to use all
of the space (an extra 500 blocks) or continue with the
current setting?"

The backup GPT table is not at the end of the
disk, as it should be. This might mean that
another operating system believes the disk is
smaller. Fix, by moving the backup to the end
(and removing the old backup)?

echo 'f' to fix the GPT table

Instead use growpart

JIRA: YARDSTICK-1058

Change-Id: Ib0e90feef1e3766408b4f742036f2a48af942f32
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Bugfix: storperf fails on ci when install plugin

JIRA: YARDSTICK-1060

Change-Id: I6356bf16c547a1bd15f83f3ff6390822b7980f28
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

temp unblock unittests

======================================================================
ERROR: common.test_packages (unittest.loader._FailedTest)
----------------------------------------------------------------------
ImportError: Failed to import test module: common.test_packages
Traceback (most recent call last):
  File "/usr/lib/python3.5/unittest/loader.py", line 428, in _find_test_path
    module = self._get_module_from_name(name)
  File "/usr/lib/python3.5/unittest/loader.py", line 369, in _get_module_from_name
    __import__(name)
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/yardstick/tests/unit/common/test_packages.py", line 17, in <module>
    from pip.operations import freeze
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/__init__.py", line 45, in <module>
    from pip.vcs import git, mercurial, subversion, bazaar  # noqa
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/vcs/mercurial.py", line 9, in <module>
    from pip.download import path_to_url
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/download.py", line 40, in <module>
    from pip._vendor import requests, six
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/_vendor/requests/__init__.py", line 98, in <module>
    from . import packages
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/_vendor/requests/packages.py", line 12, in <module>
    sys.modules['pip._vendor.requests.packages.' + mod] = sys.modules["pip._vendor." + mod]
KeyError: 'pip._vendor.urllib3.contrib'

 File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/yardstick/tests/unit/common/test_packages.py", line 16, in <module>
    from pip import exceptions as pip_exceptions

======================================================================
ERROR: common.test_packages (unittest.loader._FailedTest)
----------------------------------------------------------------------
ImportError: Failed to import test module: common.test_packages
Traceback (most recent call last):
  File "/usr/lib/python3.5/unittest/loader.py", line 428, in _find_test_path
    module = self._get_module_from_name(name)
  File "/usr/lib/python3.5/unittest/loader.py", line 369, in _get_module_from_name
    __import__(name)
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/yardstick/tests/unit/common/test_packages.py", line 16, in <module>
    from pip import exceptions as pip_exceptions
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/__init__.py", line 45, in <module>
    from pip.vcs import git, mercurial, subversion, bazaar  # noqa
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/vcs/mercurial.py", line 9, in <module>
    from pip.download import path_to_url
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/download.py", line 40, in <module>
    from pip._vendor import requests, six
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/_vendor/requests/__init__.py", line 98, in <module>
    from . import packages
  File "/home/jenkins/opnfv/slave_root/workspace/yardstick-verify-master/.tox/py3/lib/python3.5/site-packages/pip/_vendor/requests/packages.py", line 12, in <module>
    sys.modules['pip._vendor.requests.packages.' + mod] = sys.modules["pip._vendor." + mod]
KeyError: 'pip._vendor.urllib3.packages.backports.makefile'

Change-Id: I43b1edc23cebe0db97b6b56a551acd376986dfea
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Add ODL noHA testcase"

Merge "Improve ansible code for network xml creation"

Merge "NSB userguide: run TC in heat context & sriov ports"

Merge "NSB PROX L3FWD Dropping packets"

Merge "Replace assert statements in tests"

NSB userguide: run TC in heat context & sriov ports

Add section that describeds steps to be able to run
sample vFW TC in heat context with sriov ports
confiured in the OpenStack.

JIRA: YARDSTICK-1022

Change-Id: I764933e26ca7cb10aa1094901ec3304156054333
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "Supporting user config task parameters in GUI"

Merge "Update API documentation"

Merge "Add SUT page in GUI"

Merge "Create API to get SUT information"

Merge "testcase start service script fail on centos env"

Add SUT page in GUI

JIRA: YARDSTICK-1076

We need to show SUT information in GUI.

Change-Id: I885773894fc9f6aa5975b39383af1fdf1b88b8bb
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

NSB PROX L3FWD Dropping packets

JIRA: YARDSTICK-1037

NSB PROX L3FWD was incorrect. The routing table (ipv4.lua) was incorrect.
Also a specific ipv4 for 2 port configuration is required.

Change-Id: I3a5fd1ea1d1ddf74cbdd6a5d9e7ced42d3c1d6e9
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

Merge "support for Bottlenecks soak throughputs"

Create API to get SUT information

JIRA: YARDSTICK-1072

We need to show SUT information in GUI.

Change-Id: I40bcd513f3c6a443c82764687637ac5258b99584
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Update API documentation

JIRA: YARDSTICK-1070

Our current API documentation is out-of-date.
We need to update it.

Change-Id: If5133c0350a91affb8d3f856d23b23a9903c8620
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

support for Bottlenecks soak throughputs

JIRA: YARDSTICK-1049

Changes:
1. NetperfNode -> Netperf, it seems that yardstick-image has not
correctly complied Netperf since cpuutil is not available,
resulting that LOCAL_CPU_UTIL=-1 for the output. Will create
another JIRA ticket for this.

Change-Id: I26a85f4aafcc5d5e1eda3e04272ecf3b059238fc
Signed-off-by: Yang Yu <Gabriel.yuyang@huawei.com>

Merge "Add "YARD_IMG_ARCH" input variable to "build_yardstick_image.yml""

Improve ansible code for network xml creation

JIRA: YARDSTICK-1018

Change-Id: Ia94fb1ceb9cb55bd54e512f356f85a263c32d1cf
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add "YARD_IMG_ARCH" input variable to "build_yardstick_image.yml"

"YARD_IMG_ARCH" variable is added as input parameter to
"build_yardstick_image.yml" ansible script, in order to generate
the correct image for the running architecture.

JIRA: YARDSTICK-1058

Change-Id: I33954c236695478eaae34fcfca2e9d5b40791bbf
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Get SUT information"

Merge "Add support for VNC to VMs created by ansible"

Merge "[Bug Fix] Support nova create instance operation"

Merge changes from topics 'delete_router', 'neutron_subnet_create', 'neutron_create'

* changes:
  Replace neutron router deletion with shade.
  Replace neutron subnet creation with shade.
  Replace neutron network creation with shade.

Merge "Add context name to Dummy test"

Merge "Reduce the log level if TRex client is no connected"

Replace neutron router deletion with shade.

Function delete_neutron_router now uses shade client instead of neutron
client.

JIRA: YARDSTICK-890

Change-Id: I5b557b640396f343b85b5f5eff415384decc083c
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Replace neutron subnet creation with shade.

Function 'create_neutron_subnet' now uses shade client
instead of neutron client.

JIRA: YARDSTICK-890

Change-Id: I8eb5295cecd73742bfb5a7d0764af6f45ef0685e
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Replace neutron network creation with shade.

Function create_neutron_net now uses shade client instead of neutron
client.

JIRA: YARDSTICK-890

Change-Id: I456078e98550901c1f736640c9f9bd0d5f9c3df6
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Add support for VNC to VMs created by ansible

JIRA: YARDSTICK-1017

Change-Id: I76ca53c12a6791ecbf7f546f9074b16c5f6d215a
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "assertTrue(mock.called) -> mock.assert_called"

Merge "Update the fuel pod.yaml"

Merge changes from topic 'YARDSTICK-1040'

* changes:
  Fetch Nova instance's private IP
  Assign nova instance to security group

Get SUT information

JIRA: YARDSTICK-1063

We have the demand to get SUT information.
In this patch, we use ansible to get the SUT information.

Change-Id: I983675d6d367fa528f00c1b50bc6fa2a9cee03f7
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Do NOT hardcode interface speed for PROX tests

JIRA: YARDSTICK-1035

Do not hardcode NIC/interface speed in PROX test. Test assumes
NIC used is 10Gbps. This is incorrect. It could support 1Gbps,
10Gbps, 25Gbps, 40Gbps or something else.

This is used to calculate pps (Packets Per Second)
In Baremetal the NIC speed could be extracted. however when
run on a virtual machine this is not possible.

Solution:
Add in options section of test file.

eg.
Options:
  interface_speed_gbps: 10

Where 10 refers to a 10Gbps. In a setup where multiple interfaces
are used. This will refer to the speed of the slowest connection.

Change-Id: I89ab16479a2cdd1d79e52cbcc5a972762c60d057
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Add context name to Dummy test

Since I1447fb5ed447691eaeb0a97f928c0b3333799d07, the context name is
a mandatory parameter for every context.

JIRA: YARDSTICK-886

Change-Id: I0ccb7e9fabdf6bc2890d2e4763f53baee06c87b2
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

[Bug Fix] Support nova create instance operation

Add the ability to create a nova instance through the
operation perspective

JIRA: YARDSTICK-1038

Change-Id: Idac141958d65cc6c53b6bd27df83ac74ae8804ec
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Reduce the log level if TRex client is no connected

If the TRex client is no connected, the testcase will write an exception
log that will be thrown to the CLI. There is no need to show the
traceback in the CLI in this case.

The log level is reduced to "error".

JIRA: YARDSTICK-1059

Change-Id: I22a52cedd6479f4cf692ba16a8415f7b8f574ab1
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Fix numbering and html (generated) alignment"

Merge "[bugfix] report generate command print error"

Supporting user config task parameters in GUI

JIRA: YARDSTICK-981

We need to add function to enable user to config task parameters in GUI.
The way to config must be more friendly.

Change-Id: I8746149084f1d554b48ed392f2fef4748e279dfb
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Fetch Nova instance's private IP

Add the capability to fetch the private IP of a Nova
instance through the operation perspective.

JIRA: YARDSTICK-1040

Change-Id: Idc3d62bcd3f477a03a89f7dcc8d8616f3cfa2742
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Assign nova instance to security group

Support the assigning of a nova instance to an
existing security group through the operation
perspective

Change-Id: Ic1c26031c25d400fede2ecb298a66aec42dcfbc5
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

[bugfix] report generate command print error

JIRA: YARDSTICK-1056

Change-Id: I32ab9ae7482f6b81e00d6d3e7e858d980a2dd95f
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Add ODL noHA testcase

This testcase confirms the resiliency of Opendaylight
in a noHA deployment

SPEC: https://gerrit.opnfv.org/gerrit/#/c/49245/

Change-Id: I810011c35c7bb6377f9295330cf7122d10cf74c3
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Merge "Allow VMs to access internet"

Update the fuel pod.yaml

Fuel except Controller and Compute nodes
it deploys an ODL node in noHA and HA deployment
and also a Gateway node in a noHA deployment.
So it is essential to describe them in Fuel's pod.

JIRA: YARDSTICK-1050

Change-Id: Iee6c25c5b2e2e4e661ceb0591bf2437f7f7fa7f8
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Fix numbering and html (generated) alignment

Fix numbering from 3,5,6 to 3,4,5 and alignment
of the numbered list in HTML output.

Trim lines to 79 chars or less.

Change-Id: Icf233ef6bbf99ac0dcd8a9fc2599aee9dc1a46fd
Signed-off-by: Dino Simeon Madarang <dinox.madarang@intel.com>
Reviewed-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>
Reviewed-by: Emma Foley <emma.l.foley@intel.com>
Reviewed-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "NFVi Test stops after one hour even if configured context duration is longer"

bugfix: fix prepare_env.sh shell quote

JIRA: YARDSTICK-1051

Change-Id: If28bc0f2fe2e3cdec95882bb2abedf839e6ac2e0
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

NFVi Test stops after one hour even if configured context duration is longer

JIRA: YARDSTICK-1021

If the Test is to take longer than the Default Duration timer use
defined test time.
If not use Default Duration time

Change-Id: Idacc188e199ff031310b9826238b63ed3f2ea409
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Merge "ansible: fix urlsplit('hostname') in convert_openrc"

Merge "Add l2fwd module in Tgen mode"

Merge "Add test case sample to enable mixed network"

Merge "add opnfv_k8-nosdn-lb_ceph-noha_daily.yaml"

Merge "[bugfix]tc006 failed due to volume attached to different location "/dev/vdc""

Merge "Add start service operation"

add opnfv_k8-nosdn-lb_ceph-noha_daily.yaml

https://build.opnfv.org/ci/job/yardstick-joid-baremetal-daily-master/2206/console

Change-Id: Ib5fc186caa285ef8f6a879fd1fd2f786b07a257a
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Move SSH key generation from "init" to "deploy""

Move SSH key generation from "init" to "deploy"

In [1], the Context SSH key generation was modified; the SSH now has a
name matching the name context (which depends on the given name and
the task ID).

In a test suite, the task ID is the same for all test cases executed
in the same batch. If the context name of different test cases is the
same (there is no impediment, e.g.: "demo", "yardstick"), the SSH key
filename will be the same.

Currently the SSH key generation is done during the initialization
process, at the begining of the test suite executing. If, by
coincidence, two test cases have the same context name, the first
one will remove the SSH key file during the "undeploy" process; then
the second one will rise an exception because the SSH key file is
deleted.

This patch moves the SSH key file generation from the initialization
process to the context deploy process:

  TEST SUITE:
    - init: parse all test cases
    - test case 1:
      - deploy (generate SSH keys)
      - run
      - undeploy (delete SSH keys)
    - test case 2: ...

[1] Id175061d6cfe23a068bb3d12ce176c1f176e8236

JIRA: YARDSTICK-1045

Change-Id: I05dc46db20d2a0cba3092c415ce9b248513406fb
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Add start service operation

Support the capability to start a service through the operation
perspective.

JIRA: YARDSTICK-1041

Change-Id: If817f4a522546de2e4a826c1e85b3545e6f3efed
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Replace assert statements in tests

JIRA: YARDSTICK-966
Change-Id: Ic98711fa1a31d27fcb60bd96b1b3e22b5cca86b3
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Allow VMs to access internet

Add option to the config file for default network.
Check to see if 1 default network is defined.
Enable nat on all defined networks.
Add default gateway to VM

JIRA: YARDSTICK-1016

Change-Id: Ie943a7c7b4f1a9673774cf8fedaba0af352cd7f4
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "Enable heat context to support existing network"

testcase start service script fail on centos env

JIRA: YARDSTICK-676

In the HA test cases, script 'start_serice.bash' is used to restart the OpenStack service to recover killed process.
It uses 'lsb_release' command to determine the host linux distribution and the target Openstack service name.
In some environments, the 'lsb_release' is not installed hence will cause process-recovery failure.

This patch states the software precondions in the HA test case descriptions.

Change-Id: Ie3f503b8185deec13eebbcacbeac57c0a018cb73
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Merge "Bug fix ansible scripts"

Merge "Error in string format in HeatTemplateError message"

Error in string format in HeatTemplateError message

There is a missing "s" in HeatTemplateError message [1].

[1]https://github.com/opnfv/yardstick/blob/8400c1895c49cb0c7802692f75d820fb5b8b7dc4/yardstick/common/exceptions.py#L70

JIRA: YARDSTICK-1047

Change-Id: Ieb6fbf0af35d624015dbf34f34de7c7cc9145dd5
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Fix report generation"

assertTrue(mock.called) -> mock.assert_called

When checking whether a mocked method has been called,
mock.assert_called or mock.assert_called_once should be
used, and not unittest.assertTrue(mock.called)

This change does this update.
It can be verified with:
  grep -irn "self.assertTrue(.*called)" --exclude-dir=.tox
And the replacement was done with:
  sed -i 's/self.assertTrue(\(.*\).called)/\1.assert_called_once()/g' <list_of_files>

Change-Id: I4f26e0c736bf33e0b2413c8e8c33dbdb91f090e2
JIRA: YARDSTICK-865
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Bug fix ansible scripts

For 'qemu-img version 2.10.1' unit 'MB' is not acceptable
Changing to 'M'

JIRA: YARDSTICK-1019

Change-Id: Ic9153e9e9c85d949d15b1d15cc8cddfad986b4a3
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Fix report generation

The command "yardstick report generate task_id yaml_name" was returning
some errors and failing to generate a html report.
With this fix an html report will be generated with all data from influx.

JIRA: YARDSTICK-1023

Change-Id: If9aab4b85cfb2b5809f608568e1adb2ddeec8b78
Signed-off-by: Xavier Simonart <xavier.simonart@intel.com>

Merge "prepare_env.sh: fix some shellcheck warnings"

prepare_env.sh: fix some shellcheck warnings

prepare_env.sh:13:3: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:14:3: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:15:3: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:16:3: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:17:3: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:18:3: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:22:8: warning: Declare and assign separately to avoid masking return values. [SC2155]
prepare_env.sh:28:1: warning: INSTALLERS appears unused. Verify it or export it. [SC2034]
prepare_env.sh:36:5: warning: Can't follow non-constant source. Use a directive to specify location. [SC1090]
prepare_env.sh:42:1: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:46:5: warning: Can't follow non-constant source. Use a directive to specify location. [SC1090]
prepare_env.sh:46:12: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:53:5: warning: i appears unused. Verify it or export it. [SC2034]
prepare_env.sh:54:27: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:68:25: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:73:19: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:73:49: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:76:27: note: Useless cat. Consider 'cmd < file | ..' or 'cmd file | ..' instead. [SC2002]
prepare_env.sh:77:24: note: Useless cat. Consider 'cmd < file | ..' or 'cmd file | ..' instead. [SC2002]
prepare_env.sh:80:46: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:83:46: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:86:46: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:89:43: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:92:43: note: Double quote to prevent globbing and word splitting. [SC2086]
prepare_env.sh:96:71: note: Double quote to prevent globbing and word splitting. [SC2086]

Change-Id: I96a1f591b825d21e3ba202f1d681449347d940a6
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

heat: replace neutronclient with shade

neutronclient is deprecated and also has bunches of issues with SSL and
such.

JIRA: YARDSTICK-890
JIRA: YARDSTICK-1032

Change-Id: I41c9aac0ea69e1307560a001f7dc34178fcd7e71
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "VNF interfaces are sorted by "vpci" address before being populated"

Merge "Prohibit the importation of a list of libraries"

Merge "Layout fixes to test case descriptions"

Merge "Remove main() and __main__ from tests."

Add yardstick.benchmark.contexts.heat.HeatContext._delete_key_file()

* Move logic for removing key file into its own method
* Update the log message to be more useful

JIRA: YARDSTICK-1026
Change-Id: I8c131720ed91c939698c41ad63d586396fcce1fe
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

VNF interfaces are sorted by "vpci" address before being populated

In [1], VNF interfaces in TG PROX are sorted by "vpci" address, before
this value is populated in "vnfd_helper". "vpci_if_name_ascending" is
only used in TP ProxPofile [2] to generate the stats.

This patch delays this sorting process until the stats generation.

[1]https://github.com/opnfv/yardstick/blob/a74ad5a1ec1a73389c5983440b2031b0bc72cea1/yardstick/network_services/vnf_generic/vnf/tg_prox.py#L62-L64
[2]https://github.com/opnfv/yardstick/blob/a74ad5a1ec1a73389c5983440b2031b0bc72cea1/yardstick/network_services/traffic_profile/prox_profile.py#L33

JIRA: YARDSTICK-1044

Change-Id: I988dc48f9a82baa1c64f728d9e6d54f2f4bae010
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Remove main() and __main__ from tests.

Removes the unnecessary main() functions from tests.
Also removes shebang (#!) where it appears at the top of files.
JIRA: YARDSTICK-861

Change-Id: I79180d1eb9c5bce640142dd62ce28c7437c1b210
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "Replace assertEqual(None, xx) with assertIsNone(xx)"

Merge "Make files pep8 compliant before replacing assertEqual(None, xx)"

Merge "remove releng from Dockerfile and elsewhere"

Layout fixes to test case descriptions

Change-Id: I9658b023e4f3db7e22d67c71dfbba61511d981c6
Signed-off-by: Mika Rautakumpu <mika.rautakumpu@nokia.com>

Replace assertEqual(None, xx) with assertIsNone(xx)

Change-Id: Ie956d8064a8fbcbd3d56c5a79c4c613d35184af4
JIRA: YARDSTICK-942
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Make files pep8 compliant before replacing assertEqual(None, xx)

* tests/unit/network_services/helpers/test_samplevnf_helper.py
* tests/unit/network_services/traffic_profile/test_rfc2544.py
* yardstick/tests/unit/common/test_ansible_common.py

JIRA: YARDSTICK-942
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Change-Id: Ib3c71db5f5774d2bfb3a9cbd260b838eb5501448

Merge "Add "render-only" option to "task" command"

Merge "Add ability to reuse existing OpenStack set-up"

Add "render-only" option to "task" command

This new option provides to the user the ability to output the rendered
input files. This option could be useful in case the input files are
Jinja2 templates, depending on input arguments. The user can preview
the rendered input tasks files without executing them.

JIRA: YARDSTICK-1020

Change-Id: Ib15ade7e1adcb29beae5e635fb5d02045c4432bb
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Add ability to reuse existing OpenStack set-up

This change adds two optional flags to the context configuration for heat:
* no_setup -- to re-use an existing OpenStack deployment
* no_teardown -- to skip undeploying the context, so it is available in other testcases

In order to achieve this, resource naming had to be made more predictable.
When no_setup or no_teardown are set:
* Do not add a suffix to context name
* When searching, try with and without a suffix to find a server by name

All behaviors remain the same unless these values are set.

NOTE:
  This feature doesn't work with the NSPerf scenario, because the
  interfaces in the VNFs are bound to DPDK after the first test, so the
  look-up for missing topology information fails in subsequent test
  runs, as the interfaces are not visable to the kernel.
  This can be addressed either by either unbinding the interfaces from
  DPDK at the end of each test, or modifying the look-up for the missing
  topology information to query DPDK as well.
  The change will be made in a future patch.

JIRA: YARDSTICK-886
Change-Id: I6df5e86e419c283a2bee41917e4f62179aa9c31a
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

NSB: move interface probe to VNF, and attempt driver-only probe first

If no devices are present we can't detect MAC address so
we can't match Heat ports to interfaces.

If only the driver is missing we can try to probe the driver using
lspci.  We can use lspci to ask the kernel what driver it should use
for the PCI device.

If we can't probe at all because the device is already bound, we can
use dpkd-devind to find all the PCI address we care about and create a
map with PCI device and real kernel driver.

Then we can dpdk force rebind to the kernel driver.
Once we have rebound to the kernel driver we can detect
MAC address and all the other attributes that are required.

Fix VnfSshHelper to allow override of wait timeout

And a bunch of other refactors that got swept up in this

JIRA: YARDSTICK-835

Change-Id: I14cb657ed289a77941d048345d06ced5b5d5da52
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Add methods to get an existing stack"

Merge "Use context name instead of key_uuid"

Merge changes from topics 'feat/keep_vnf', 'YARDSTICK-886'

* changes:
  Add _create_new_stack method
  Update TaskParser to deal with qualified name in Context
  Add qualified name to Context