Standalone XML machine type is not longer valid

Current XML machine type definition [1] is not longer valid. According to
[2], the default machine type should be "pc-i440fx-xenial".

NOTE: StandAlone physical nodes are deployed using Ubuntu OS.

[1]https://github.com/opnfv/yardstick/blob/master/yardstick/benchmark/contexts/standalone/model.py#L48
[2]https://wiki.ubuntu.com/QemuKVMMigration#Upgrade_machine_type

JIRA: YARDSTICK-1192

Change-Id: I77b1379aaf416b1225e91af2c3ac746cb101f774
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Error when adding SR-IOV interfaces in SR-IOV context

Method "add_sriov_interfaces" in Libvirt class throws an error when trying
to add SR-IOV interfaces in the XML file.

Function "setup_sriov_context" in SriovContext if passing to
"_enable_interfaces" method the XML file name instead of passing the XML
string.

JIRA: YARDSTICK-1189

Change-Id: If021c102311ecb98cb26934f78067dfc720e4291
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Test case spec for SDN Virtual Switch resilience."

Merge changes from topics 'YARDSTICK-1154', 'YARDSTICK-1160'

* changes:
  Kubernetes API "delete_service" missing parameter
  Bump Kubernetes Python client to version 6.0.0
  Avoid "volumeMounts" with "configMap" fixed permissions

Merge "Parse "dispatcher" options correctly from InfluxDB client"

Merge "Fix PEP8 errors in prox_binseach"

Merge "Add --hwlb options as a command line argument for SampleVNF"

Add --hwlb options as a command line argument for SampleVNF

To enable HWLB queues in samplevnf on supported hardware
(e.g Intel  Fortville) --hwlb option needs to be passed
as a VNF command line argument.

JIRA: YARDSTICK-1159

Change-Id: I6e5c098dc71a711252b545c7622ee52085fa81f0
Signed-off-by: Chornyi, TarasX <tarasx.chornyi@intel.com>

Merge "Move tests: unit/network_services/helpers"

Merge "Move tests: unit/network_services/nfvi"

Merge "Move tests: unit/network_services/traffic_profile"

Merge "Test case description and configuration file for yardstick_tc088"

Merge "Test case description and configuration file for yardstick_tc089"

Move tests: unit/network_services/helpers

* Fix pylint errors
* Add TODOs

Some errors are ignored locally, as they were a symptom of other problems.
These issues have been flagged with a TODO, and should be fixed later.

JIRA: YARDSTICK-837
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Change-Id: If0b77a6e0b102071ecfb212362647c62a621e4f9

Move tests: unit/network_services/nfvi

* Fix pylint errors
* Add TODOs

Some errors are ignored locally, as they were a symptom of other problems.
These issues have been flagged with a TODO, and should be fixed later.

JIRA: YARDSTICK-837
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Change-Id: Id330ee1c89d54ef487edb7fe160e5a31d9a3094f

Move tests: unit/network_services/traffic_profile

* Fix pylint errors
* Add TODOs

Some errors are ignored locally, as they were a symptom of other problems.
These issues have been flagged with a TODO, and should be fixed later.

JIRA: YARDSTICK-837
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Change-Id: Id983a2e415d66633331e7fea96a377e2a7589980

Merge "Start nginx and uwsgi servicies only in not container mode"

Start nginx and uwsgi servicies only in not container mode

No need to execute nginx and uwsgi when running in container mode.

JIRA: YARDSTICK-1179

Change-Id: I253f3adab388a14886b70e6589936f6eb27ac4c0
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Fix PROX throughput result calculation"

Fix PEP8 errors in prox_binseach

There were some pep8 errors in the
prox_binsearch.py file. These are fixed here.

JIRA: YARDSTICK-1173

Change-Id: I817bba89c6ba298bb0f27b2538aa7585cb286754
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

Fix PROX throughput result calculation

The success criteria needed a fix for throughput
calculation. The results on success criteria were
muliplied by 1000*1000 which is not correct and
not needed as this was leading to false results
in grafana.

JIRA: YARDSTICK-1172

Change-Id: I56b24a700f8a565db80897aeab796e7039cae5c9
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

Merge "Replace cinder detach volume with shade client."

Merge "Replace cinder delete volume with shade client."

Merge "Replace cinder create volume with shade client."

Merge "Document for Euphrates test case results"

Merge "Do not start collectd twice when SampleVNF is running on Baremetal"

Merge "[docs] Add info on gerrit groups to the devguide."

Do not start collectd twice when SampleVNF is running on Baremetal

JIRA: YARDSTICK-1167

Change-Id: I7591bbb2a84ee4039a20c5da2914f1e374299015
Signed-off-by: Chornyi, TarasX <tarasx.chornyi@intel.com>

Merge "Fix Prox L2fwd generator packet"

[docs] Add info on gerrit groups to the devguide.

Added the yardstick-reviewers and yardstick-committers groups
as an alternative to adding individual developers to a code review.

Change-Id: I1ebba56ba27dac00f7e7af7858b3c599a0f1eae8
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "nsb_setup: parametrize docker image"

Merge "Update samples/test_suite.yaml"

Merge "Re enable pip package unit tests"

Kubernetes API "delete_service" missing parameter

Kubernetes method "delete_service" calls core API function
"delete_namespaced_service". The parameter "body" [1] is missing:

    :param V1DeleteOptions body: (required)

[1] https://github.com/kubernetes-client/python/blob/6.0.0/kubernetes/client/apis/core_v1_api.py

JIRA: YARDSTICK-1154

Change-Id: I40bca2af0f5359eaa788d3b81d82897a770329f0
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Bump Kubernetes Python client to version 6.0.0

Bump Kubernetes Python client to version 6.0.0. This versions supports
Kubernetes service from 1.4 to 1.10 (current version) [1].

Current version of Kubernetes service: 1.10.2

[1] https://github.com/kubernetes-client/python/tree/6.0.0#compatibility-matrix

JIRA: YARDSTICK-1153

Change-Id: I96e855a68e39b17af02cd362040f8c765a9531f0
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Avoid "volumeMounts" with "configMap" fixed permissions

To access to the container without using a password, the jumphost
RSA public key is copied to each container, using "volumeMounts"
defined as "configMap", to /root/.ssh/authorized_keys.

To work properly, the following permissions must be set:
  - /root/.ssh: 700
  - /root/.ssh/authorized_keys: 600

Because of [1][2], the mounted folders have fixed permissions and
cannot be modified.

[1]https://groups.google.com/forum/#!topic/kubernetes-dev/eTnfMJSqmaM
[2]https://github.com/kubernetes/kubernetes/issues/28317

JIRA: YARDSTICK-1149

Change-Id: I821064da56699c5b4f509d233c33e55af119fd56
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Update samples/test_suite.yaml

The sample test suite at sample/test_suite.yaml contained incorrect
syntax. It has been updated to add the "default" parameter to
"task_args" when running a testcase.

JIRA: YARDSTICK-1125
Change-Id: I53409168e47d969317145623df1e2c789396cc32
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "Bug Fix: correct the file path to build docker file"

Fix Prox L2fwd generator packet

The Prox L2-fwd test case has a bad packet, which fails
the test case to run in OpenStack context as it's dropped
by the neutron.

This fix is needed to successfully run the L2fwd 2 and
4 port test cases in heat based test cases.

Change-Id: I86df31a6df1eaa6f968e46af159ac6a0157f402c
JIRA: YARDSTICK-1164
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

Bug Fix: correct the file path to build docker file

To be able to build a docker file, the path to file
"exec_tests.sh" should be modifed from .docker/exec_tests.sh
to ./exec_tests.sh.

JIRA: YARDSTICK-1157

Change-Id: I0f707ba579039d0efc8f2185b596e23b901c09df
Signed-off-by: ting wu <ting.wu@enea.com>

Merge "Fix log typos in benchmark/scenarios/availability"

Merge "Replace cinder get_volume_id with shade client."

Replace cinder detach volume with shade client.

Function detach volume now uses shade client.

JIRA: YARDSTICK-891

Change-Id: Ie437ccf1172cb82dc869963f0d62e31a5ab23ebb
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Replace cinder delete volume with shade client.

Function delete volume now uses shade client.

JIRA: YARDSTICK-891

Change-Id: I016e1d3bf5972879cad176b56c7282e35413945e
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Merge "Implement Virtual Switch resilience test case"

Merge "Bug Fix: Start openvswitch service in Centos distro"

Merge "Add support for restarting a service"

Merge "Add ODL HA testcase"

Merge "Add pod.yaml files for Apex"

Fix log typos in benchmark/scenarios/availability

This commit fixes multiple log message typos and all the emerged pylint
errors.

MonitorProcess/MonitorOpenstackCmd.verify_SLA() repeat already logged
information, so these prints are removed.

JIRA: YARDSTICK-1145

Change-Id: Ifef26e4b4ff7766089caec24785511969c2d663e
Signed-off-by: Miikka Koistinen <miikka.koistinen@nokia.com>

Replace cinder create volume with shade client.

Adds get_volume function.
Function create volume now uses shade client.

JIRA: YARDSTICK-891

Change-Id: I0b2fae5f2cf52eaf2e4a0062c858d49bc4ce9ccd
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Replace cinder get_volume_id with shade client.

Function get_volume_id now uses shade client.

JIRA: YARDSTICK-891

Change-Id: I45ae40982a64f677dbbdeb6c9510a0ec9ac973f1
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Re enable pip package unit tests

In [1] the pip unit test cases were removed, because of a problem in pip3
library. Currently there is a reported error in pip 9.0.2 version, in
_vendor.urllib3 library [2].

This error is solved in [3].

[1]I43b1edc23cebe0db97b6b56a551acd376986dfea
[2]https://github.com/pypa/pip/issues/5079
[3]I2ee28749f146cd3b0e1bf4ed92b51cbe6db8b2f3

JIRA: YARDSTICK-1087

Change-Id: Id4f0e1accf3240b5f27d3698323e679a27f63f87
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Add IxNetwork API Python Binding package"

Jörgen Karlsson standing down as Yardstick committer

https://lists.opnfv.org/pipermail/opnfv-tsc/2018-May/004333.html

Change-Id: Ida2692c9f5f8e41580a653c8e9b5a05b5d99df00
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Test case spec for SDN Virtual Switch resilience.

This is a test case for verifying the proper functionality of
SDN Vswitches which are located in the Compute nodes of an OpenStack
environment.
This test case is unaware of the configuration (non-HA,HA)

JIRA: HA-34
JIRA: YARDSTICK-955

Change-Id: I701bf1f9527b1a31b9cb52e102734e10c4162766
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Merge "Add "os_cloud_config" as a new context flag parameter"

Merge "Update the dummy-scenario-heat-context testcase"

Merge changes from topics 'YARDSTICK-1147', 'YARDSTICK-1144'

* changes:
  Fix ansible scripts for running in container
  Correctly set PYTHONPATH in Dockerfile

Parse "dispatcher" options correctly from InfluxDB client

The InfluxDB client needs first to retrieve which dispatchers
are available from "DEFAULT:dispatcher". This parameter accepts
comma separated values. "get_data_db_client" method needs to search
for "influxdb" in this string parameter.

JIRA: YARDSTICK-1136

Change-Id: I5efafcffbd3dbf906ca9bebd75b3717df8bbb75d
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Add IxNetwork API Python Binding package

Add IxNetwork python package to the requirements list.

This module is needed for the "NSPerf" scenarios using IXIA as traffic
generator, when IxNetwork is the program used to handle the IXIA
generator.

The latest version of this module is 8.40.1124.9 [1]. The license type
is MIT.

[1] https://pypi.python.org/pypi/ixnetwork

JIRA: YARDSTICK-1106

Change-Id: I279933c95994f5120930256a104c4192a0b9900d
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Fix ansible scripts for running in container

JIRA: YARDSTICK-1147

Change-Id: I52dae85a2d97192bc8a48c5aeea3173b3d4de003
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

MQ startup process refactor

YARDSTICK-1112

Change-Id: Id30236e190bae9fb0f5b5ebd4c5e04798e4fd443
Signed-off-by: Chornyi, TarasX <tarasx.chornyi@intel.com>

Merge "Remove unused methods in SampleVNF"

Implement Virtual Switch resilience test case

This testcase tests the resilience of the Virtual
Switch in an OpenStack environment. It can only run in a
non Ubuntu distro because it is limited by this bug [0]

[0]: JIRA: YARDSTICK-1140

Change-Id: Ia1480fba9f3549d1144c80699056b501d3b07a0f
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Bug Fix: Start openvswitch service in Centos distro

JIRA: YARDSTICK-1142

Change-Id: I82c479c95e10de37416081eacf2d8bee396e50dc
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Add support for restarting a service

JIRA: YARDSTICK-1138

Change-Id: Id57defb574eb7e0f5be81b52803cdb05f46796ab
Signed-off-by: Dimitrios Markou <mardim@intracom-telecom.com>

Replace nova get flavor with shade client.

Rename get_flavor_by_name with get_flavor.
Function get_flavor now uses shade client.

JIRA: YARDSTICK-1088

Change-Id: Ic82127e475baf39643be0a254b177f3058b85748
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Replace nova get server with shade client.

Rename get_server_by_name with get_server.
Function get_server now uses shade client.

JIRA: YARDSTICK-1088

Change-Id: I69c59145cefdb565f3ece27baaaf932905e1b757
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Add "os_cloud_config" as a new context flag parameter

This new parameter will contain the OpenStack cloud specific configuration
used by Shade client. This new flag is used only in Heat context.

By default, this new parameter (dict) will contain this content:
  'os_cloud_config': {'verify': False}

This field will be used by HeatStack [1] to create a Shade cloud. Shade
retrieves, if not defined, the OpenStack configuration from
"os_client_config". This configuration is used to generate the cloud
configuration, which is the description of the OpenStackCloud returned.

The default parameter defined, "verify", refers to the related bug. By
default, in case of using SSL certificate it will not be verified.

[1] https://github.com/opnfv/yardstick/blob/b338d3091bb0beb89d4ad9f7c144f43a31a19a74/yardstick/orchestrator/heat.py#L47

JIRA: YARDSTICK-1139

Change-Id: I875a7018401b84e51dab775b8194174645d27e06
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Fix nsb_setup.sh script"

Merge "Move tests: unit/network_services/{lib/,collector/,*.py}"

Fix nsb_setup.sh script

Ansible role install_dependencies was renamed
to install_dependencies_jumphost in previous patch.

JIRA: YARDSTICK-1146

Change-Id: Idf7c191151961c1c0e63ad2f75aa0aab8ed2b2fa
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Correctly set PYTHONPATH in Dockerfile

JIRA: YARDSTICK-1144

Change-Id: I8c0fe229ed620417a85356e017b171260373c43f
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "Replace nova attach volume to server with shade client."

Move tests: unit/network_services/{lib/,collector/,*.py}

* Fix pylint errors
* Add TODOs

Some errors are ignored locally, as they were a symptom of other problems.
These issues have been flagged with a TODO, and should be fixed later.

JIRA: YARDSTICK-837
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Change-Id: Idc2e70291b6d9b4cf7e7249a10c4a290b999206c

Update Dockerfile.aarch64.patch

The patch doesn't apply anymore for the latest docker builds.
Updated the patch to accomodate the latest changes to the Dockerfile

Change-Id: Ia8a35337a421b3628c90be3060f049c655446758
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Merge "Add active wait function"

Replace nova attach volume to server with shade client.

Function attach_volume_to_server now uses shade client
instead of nova client.

JIRA: YARDSTICK-1088

Change-Id: Id00df672c2c195b5c338cbbc30ddf2742a4e4d29
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>

Merge "Migrate install.sh script to ansible"

Add active wait function

Added function "wait_until_true". This function will make an active
wait until the predicate passed as an argument returns True.

If the timeout expires, the function will raise a generic exception
or a user defined one passed as an argument.

This function will be used in YARDSTICK-1127.

JIRA: YARDSTICK-1128

Change-Id: I9854e465ac6b586bf4be39ab4b266d5625b39e30
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "Get HA test case results on failure"

Migrate install.sh script to ansible

Ansible scripts to install yardstick.

These scripts will take a few options:
  INSTALLATION_MODE : Container or Baremetal
  YARDSTICK_DIR: Location of Yardstick directory
  VIRTUAL_ENVIRONMENT: Should a virtual environment be used
  NSB_DIR: Location of NSB directory

JIRA: YARDSTICK-1126

Change-Id: I4a13e07e96650ffd971dfb18472f2563cfd51aa9
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "OpenStack deployment using kolla"

Merge "Replace nova delete keypair with shade client."

Merge "Replace nova client create keypair with shade."

Merge "Remove unused nova client functions."

Merge "Replace nova delete instance with shade client."

Merge "Replace nova create instance with shade client."

OpenStack deployment using kolla

OpenStack deployment using Kolla installer for all-in-one mode and
multinode inside VMs which are already created. Two types of OpenStack
nodes are supported as input in sample files, like
infra_deploy_two.yaml.sample: controller and compute.

JIRA: YARDSTICK-1078

Change-Id: I51616a7a17ac565a01ec6da57b589290237d18ee
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Add dashboard for TC058"

[release] Yardstick Fraser 6.0.0 Release notes

JIRA: YARDSTICK-1129

Change-Id: I5adb2e9547c58b90d3eafb0e2b90015ce5472cfa
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

nsb_setup: parametrize docker image

The user may need to pull a different image stable or a
tagged release version.

Since we can't pull a tagged image before it is tagged
just give up and make it an argument

JIRA: YARDSTICK-1137

Change-Id: I0caf0f8915c191786c7db6d929be2fa350a545af
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Merge "Fix "os.path" mock problems during tests"

Merge "Bugfix: ansible can't not run without config"

Fix "os.path" mock problems during tests

This patch removes the global mocking applied on "os.path".

Change-Id: Ia18d2c90195c5408a1852792bdf05b6f0c1ad21f
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Merge "OpenStack deployment: delete RS or all VMs"

Merge "Add docker support for Ubuntu 17.10 with Yardstick"

Document for Euphrates test case results

JIRA: YARDSTICK-1132

In B and C releases, Yardstick provides an overview of the results of test cases
developed by Yardstick, executed on OPNFV community labs.

This work has not been done for the D and E releases, although result analysis
for Euphrates is available at (https://wiki.opnfv.org/display/yardstick/Euphrates+release+test+results+analysis).
We plan to restart to provide a basic test case results analysis for Fraser and compare performance data with Euphrates.

This JIRA ticket will be resolved into 3 commits: 1. Document for E release test case data; 2. Document for F release test case data;
3. Document for results analysis.

Change-Id: I372a60807ac3dfaab87e70cdb956c1059b019f7a
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Bugfix: ansible can't not run without config

JIRA: YARDSTICK-1135

Ansible need ansible.cfg when run in the remote node.
However the file name is wrong. Need:
setup.cfg -> ansible.cfg

Change-Id: Ifa674fb624ca83d90c3ac9ad3bfe148013bf8bfd
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>