Merge "Add API for PPPoE clients statistic retrieval"

Merge "Update: assign static IP to VM for standalone"

Merge "Add 8 port topology file for agnostic vnf with ixia tg"

Merge "Update Multi Port Stats reading for PROX"

[docs] Update mailing list to use #yardstick

The mailing list is on a new system that lets you use #topics
instead of [topics]. The contact information has been updated
to reflect this.

JIRA: YARDSTICK-1335
Change-Id: Ida9af98f00761a3bff8903165fd2806163787ccd
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge changes from topic 'doc/nsb-qsg'

* changes:
  [docs][userguide] Update formatting for Influx instructions in ch04
  [userguide] Update the directory structure listing
  [docs][devguide] Fix line lengths in devguide_nsb_prox.rst

Merge "[docs] Add vEPC test case preparation steps"

Merge "Added http concurrency test suite for agnostic VNF"

Merge "Fix python lib path for ixload control subprocess"

Add API for PPPoE clients statistic retrieval

Add IxNextgen API for PPPoE clients per port statistics retrieval.

JIRA: YARDSTICK-1480

Change-Id: Ic22cf4a085ad957891575e9728584aee939a6630
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Update Multi Port Stats reading for PROX

JIRA: YARDSTICK-1458

Removed excessive jitter by removing extra sleeps in start/stop/reset
  ssh
Removed extra retries when bad data returned
Added a slep at end of test to give runner a chance to empty the queue
  on shutdown
Added a timeout on port retry attempts

Change-Id: Ica60b11c7af242817a83c154157827581f60d16a
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Merge "Test case override of traffic profile settings."

Merge "[docs] Rename image tc014_pod_frase{e,}r.png"

Merge "[docs] Fix "Error in xxx directive" warning"

Merge "[docs] Fix docs {un,}indent warnings in Testcase definitions"

Merge "[docs] Update header levels"

Merge "[docs] Remove vtc results chapter and references"

Merge changes from topic 'docs/fix-warnings'

* changes:
  [docs] Fix unresolved reference warning
  [docs] Update broken and redirected links

Add 8 port topology file for agnostic vnf with ixia tg

JIRA: YARDSTICK-1509

Change-Id: I516b8011d0debb99105596755f04e858b2ce87b3
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

[docs] Add vEPC test case preparation steps

Add documentation to review the changes to original vEPC infrastructure
files to configure NSB test run in a specific test setup.

Add initial steps to prepare NSB to use Spirent Landslide for vEPC tests.

JIRA: YARDSTICK-1459

Change-Id: I3b937b1a21d6ec6851a92946e46c679385fdff9c
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Merge "[docs] Test case documentation for vEPC testing"

Merge "Add IxNextgen API for setting tracking options"

Merge "Add IxNextgen API for checking protocols status"

Merge "Make OvS to listen on TCP by default"

[docs] Test case documentation for vEPC testing

JIRA: YARDSTICK-1349

The test case document will cover the following:
- test purpose
- test configuration
- pre-test conditions
- test sequence
- test verdict

Change-Id: I2841a7ff3d248bb3e4739579fad722dc02b5504f
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

Merge "Update: Trex KPI not collected no rabbitmq user"

Update: Trex KPI not collected no rabbitmq user

Update of review #63707: missed yardstick password hash.
This must be set on top of changes on review.

JIRA: YARDSTICK-1479

Change-Id: Ia8783de81ad91ea7421c6bbff87a30c59db2d44c
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Adding Grafana dashboard for visualizing the vEPC default bearer metrics."

Added http concurrency test suite for agnostic VNF

Added http concurrency test suite and test template.
In the test pemplate user can set number of users and page size

JIRA: YARDSTICK-1438

Change-Id: I510c37309568c1ef9c4ab34d3b85614120dc79a8
Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

Adding Grafana dashboard for visualizing the vEPC default bearer metrics.

The dashboard will highlight the Network metrics captured from Spirent landslide traffic generator.

JIRA: YARDSTICK-1350

Change-Id: I47920446181355a97e875fd82afd633b336c8da6
Signed-off-by: Carey, Alan <alan.carey@intel.com>

[docs][userguide] Update formatting for Influx instructions in ch04

JIRA: YARDSTICK-1335
Change-Id: I2422d12a8c34fe2afaab349cbbb4dfe579057cb1
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[userguide] Update the directory structure listing

Change-Id: I4ff6f94a6d309e1604672a41c581d0768c91a5d2
JIRA: YARDSTICK-1335
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs][devguide] Fix line lengths in devguide_nsb_prox.rst

JIRA: YARDSTICK-1335
Change-Id: I863da3318a71dbcf2dc3f2b43fda6a92feed2089
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Update: assign static IP to VM for standalone

Updated cloud-init network file to be used on Ubuntu 16.04 and
Ubuntu 18.04. Fields 'macaddress' and 'prefix' modified in
network-config file.

JIRA: YARDSTICK-1402

Change-Id: Ibe7fb9dbf23326a0a6106f98d3b2b9fedf81f79a
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

[docs] Rename image tc014_pod_frase{e,}r.png

docs/release/results/tc014-cpu-processing-speed.rst
includes the image tc014_pod_fraser.png. This image was
incorrectly named tc014_pod_fraseer.png.

This patch fixes the image name so that the link is valid.

JIRA: YARDSTICK-1416
Change-Id: I37d8ee687f4dbd1a8b906e2934a4119f9fdd8041
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Fix "Error in xxx directive" warning

JIRA: YARDSTICK-1416
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Change-Id: I58c511454e052496e0b72ea28142b331514475c5

[docs] Fix docs {un,}indent warnings in Testcase definitions

Mostly, the issues were with un/indentation.
This has been fixed, and `tox -e docs` now issues less warnings.

JIRA: YARDSTICK-1416
Change-Id: Ie58a8dba42e9868357e1dce414cb1a01af8ad1f4
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Update header levels

JIRA: YARDSTICK-1335
Change-Id: I202634a7427a409f0e2ca786c8bb5e05a5b4351d
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Remove vtc results chapter and references

The vTC chapter in the userguide was previously removed [1]
Some references and results still remained and needed to be removed.

[1] https://gerrit.opnfv.org/gerrit/gitweb?p=yardstick.git;a=commit;h=114a486558c96152fffb5050840460a54de64d15

JIRA: YARDSTICK-1335
Change-Id: I17806d90ae8bc4dbf813ef89bbc22dc012b4a686
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Fix unresolved reference warning

JIRA: YARDSTICK-1416
Change-Id: Ibdc9b48e31aff171c59278f9ca19767392f4eeba
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Update broken and redirected links

A number of links were broken, or permenently redirected.
Some literal include directives pointed to the wrong location.

These have been updated, so the links are valid.

JIRA: YARDSTICK-1416
Change-Id: Icd20113e0ab099850fa58fa41bb27a00670f57ca
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "[docs] Fix links to remove references to submodules"

Merge "Add RFC2544 iteration status field"

Merge "Dashboard with Network and Platform NFVi metrics"

Make OvS to listen on TCP by default

JIRA: YARDSTICK-1492

Change-Id: I81c682d473ffe3d70ecbb42cce40c2d16e608b41
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Add RFC2544 iteration status field

 Added new RFC2544 iteration status field into the
testcase result to be able to exctract the best
RX/TX throughput value from each iteration.

 The field equal "Success" if the trhoughput value is in the
given drop percentage range and "Failure" otherwise.

JIRA: YARDSTICK-1389

Change-Id: I2fb2ef036b63a0e7bbf3d6c6568d3bdffa488e1f
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "Pod file fix for Prox 2 port"

Merge "Fix latency for ACL test cases"

Dashboard with Network and Platform NFVi metrics

Added the PROX L3FWD Grafana dashboard with NFVi metrics
collected from barometer collectd container.

The dashboard has template field for HOST/SUT name
to get the collectd metrics from that SUT.

JIRA: YARDSTICK-1412

Update:
- Added table and graphs for TG NFVi metrics
- Added TG and SUT templates as IP address
- Added IPC(instruction per cycles) metric

Change-Id: I1f8971f551df27ad6a16241693527285610fc82d
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

[docs] Fix links to remove references to submodules

All references to submodules must be removed for docs to
work going forward.

Can be tested once your project has a local tox file

Change-Id: Id74581cc584f70ae0b31e31c9dd91593c7be6615
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

[docs] Update on Yardstick installation

Added details how to install Yardstick using install.yaml.

Updated:
 - 04-installation.rst
 - 13-nsb-installation.rst

JIRA: YARDSTICK-1335

Change-Id: I526c328f1b197833a2cf496cfef15ba89c11fab1
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Add test library name update in DMF and mainflows"

Merge "Add traffic duration support in test case"

Merge "Proposing Volodymyr Mytnyk as a committer to Yardstick"

Merge "[docs] Add developer guidelines for contribution"

Merge "[docs] Add conventions for writing unit tests."

[docs] Add conventions for writing unit tests.

Added details of conventions used when writing unit tests.

JIRA: YARDSTICK-1335
Change-Id: I7bb141126968c88c8a2d7e0dce4f33ed6f79cee4
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Add developer guidelines for contribution

A new section was added to the devguide, stating
expectations for code contributions.

* What to include in a change
* Code style guidelines
* How to run tests

JIRA: YARDSTICK-1335
Change-Id: Idfe7790042a3a3fe6cd8763374b10f2268bd63cd
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Update the glossary

Add some new terms (OpenStack, Docker, PROX).

JIRA: YARDSTICK-1335
Change-Id: I948957cf7b1540f7a027ab9da2d829e5e05c87c8
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Fix latency for ACL test cases

JIRA: YARDSTICK-1460

Cores running "mode=lat" must be properly configured with a correct
"lat pos" parameter. When this parameter is missing, PROX exits with
an error message.
When the "lat pos" parameter is missing for cores running "mode=gen",
latency values are not written into the packets.
Also fixed some typos, packet inline format, IP len and UDP len.

Change-Id: Ice06c5d74686c80f09bc60f568993dbf3165b338
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Merge "Allow to see steady state status in the yardstick logs"

Merge "Add Testcase for Prox Standalone OvS-DPDK."

Merge "Add Testcase for Prox Standalone SRIOV."

Merge "Trex KPI are not collected due to rabbitmq user"

Add traffic duration support in test case

Implement code to support traffic_duration field in test case options.
This updates the 'duration' in Landslide session profile.
traffic_duration should always be much less than runner duration/timeout.

JIRA: YARDSTICK-1427

Change-Id: I51094bade683ca8758136ccb619e8894a2ecef72
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Add Testcase for Prox Standalone SRIOV.

No sample testcase for prox SRIOV standalone.

Renamed pod file so that other prox testcases can use this file

JIRA: YARDSTICK-1471

Change-Id: Icc20e395a3fb4c9d1398f85198d64682b2a9ee33
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Add Testcase for Prox Standalone OvS-DPDK.

No sample testcase for prox OvS-DPDK standalone.

JIRA: YARDSTICK-1475

Change-Id: Ide65444d08d6c90e7e98d59b7d1f4cba8ca7397f
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Proposing Volodymyr Mytnyk as a committer to Yardstick

Volodymyr has contributed to Yardstick in the following
ways over the last year:

* Regular reviews
* Validation of changes
* Bug fixes across different contexts, TGs and SampleVNFs
* Tested and updated many sample testcases for NSB
* Installer improvements

Change-Id: I9a28ac15bd6ceb5f5c599e602fb2651bd7b9e622
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Add test library name update in DMF and mainflows

Add automatic update of traffic profile items library name update, as well
as update of session profile Dmf library name, to avoid the need of user
changing it in template files.

Update affected unit tests.

JIRA: YARDSTICK-1474

Change-Id: I18cc8ca99a47da862753329c87d1a560a97f76fa
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Add IxNextgen API for checking protocols status

Added IxNextgen API methods which allows to check status of created
protocols

JIRA: YARDSTICK-1468

Change-Id: Id40b59ac258bcce6501862520bd042d31d926783
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Pod file fix for Prox 2 port

Removing the "keyfile" from the pod file to align with other
pod files for 1 and 4 port. The file when used as such currently
gives an error. This change will fix that.

JIRA:YARDSTICK-1477

Change-Id: Ibfa9387d068a0098ea0eb0b31ad96108d0602abc
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

Trex KPI are not collected due to rabbitmq user

Changed the way rabbitmq-server user is created. Fix is needed to
collect KPIs from Trex.

JIRA: YARDSTICK-1479

Change-Id: I54369535fdb7af6af76de30f758227736f83db78
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Fix default IPv4 mask for IxNetwork traffic config

IP mask is set depending on the IP range provided by the user in the
traffic profile. In case of single IP in range, IPV4LENGTH value is
used as mask should cover all address bits.

JIRA: YARDSTICK-1478

Change-Id: I5ad40d1f3def52ebcda4400b708b71faf11e12ab
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

fix yardstick verify job

The regex is not compatible with pip version 18.

JIRA: INFRA-310

Change-Id: I6eaf1e3fac183f85c277934929e9065efa88d877
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Added traffic update capability to Ixload TG"

Merge "[docs] Transition to local docs build job."

Add IxNextgen API for setting tracking options

Added IxNextgen API for setting:
- ingress flows tracking options
- egress flows tracking options

JIRA: YARDSTICK-1472

Change-Id: Ia604025a7d181213200c6562260b25cf11d4d73e
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Merge "Adds option parameters to TC074"

Merge "Add 4 port topology for agnostic vnf and Ixia tg"

Merge "Add OvS 2.8.1 support into SA context"

Merge "Configure n_rxq DPDK port option when adding the port"

Merge "Modify handling Ixia traffic profile parameters"

Test case override of traffic profile settings.

JIRA: YARDSTICK-1298

Allow the test case file e.g. "tc_prox_baremetal_l2fwd-4.yaml"
settings to override the values in the traffic_profile file
e.g. "prox_binsearch.yaml"

This is done by adding the "traffic_config" section to the
"options" section in the "test case file".

See below :-

  options:
    interface_speed_gbps: 10

    traffic_config:
      tolerated_loss: 0.001
      test_precision: 0.1
      packet_sizes: [64]
      duration: 30
      lower_bound: 0.0
      upper_bound: 100.0

    vnf__0:
      prox_path: /opt/nsb_bin/prox
      prox_config: "configs/handle_l2fwd-4.cfg"
      prox_args:
        "-t": ""

    tg__0:
      prox_path: /opt/nsb_bin/prox
      prox_config: "configs/gen_l2fwd-4.cfg"
      prox_args:
        "-e": ""
        "-t": ""

Precedence of the traffic settings.

1. Values provided in the "traffic_config" section, inside
   the "options" section, of the test case file
2. values provided in the "traffic_profile" section of the
   traffic_profile file

Change-Id: I6b4e123e865c9dab548f9ad28647f95b53410e8f
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Added traffic update capability to Ixload TG

Allow yardstick to update IP/MAX of Net traffic

- Implemented functionality for updating traffics IP/MAC address
  in ixloadconfiguration.
- Extended http_ixload.py with functions for update IP/MAC
  address of netTraffic.
- In HTTP-vFW_IPv4_2Ports_Concurrency.rxf changed name's of
  networks from "client network" to "uplink_0 and the same for
  server

JIRA: YARDSTICK-1418

Change-Id: I28ef68b77466fff15af589954e3ef63e8099428f
Signed-off-by: Myron Sosyak <myronx.sosyak@intel.com>
Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

Fix python lib path for ixload control subprocess

JIRA: YARDSTICK-1390

Change-Id: I3ef5242862c98d3b389ba127f909f47e26c0711d
Signed-off-by: Chornyi, TarasX <tarasx.chornyi@intel.com>

Modify handling Ixia traffic profile parameters

Modified Ixia traffic profile class to handle all traffic parameters as
optional.

JIRA: YARDSTICK-1456

Change-Id: Ib7ee1728baad0f271dd6a923b94bc686bc9bffc6
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Add IxNextgen API for creating BGP protocol layer

Added functionality to create BGP protocol layer for device group

JIRA: YARDSTICK-1465

Change-Id: Ib18b979ce09589b5eda438f01f4f8845295e4c71
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

[docs] Transition to local docs build job.

Docs builds have transitioned to using local
build jobs. This allows Yardstick docs to be
built and verified locally.
The time taken to build and verify docs in the
gate for new changes should be reduced, as the
docs for each project will be built separately.

This change also allow contributers to test
their docs builds locally, using tox::

    tox -e docs
    tox -e docs-linkcheck

TODO: Update the dev guide to include new tox
environment

Related: DOCS-191
JIRA: YARDSTICK-1415
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Change-Id: Ib8bab85475dcd5127a2c41a2d55dce8f8d9da574

Add 4 port topology for agnostic vnf and Ixia tg

JIRA: YARDSTICK-1466

Change-Id: I2e4b7f54591489a90c44535a09207de8a46d0e24
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Update Ixia tg to use new API for traffic model creation

JIRA: YARDSTICK-1464

Change-Id: Ibbced9e0e04e077ec5c23fc15e97308dd11b7004
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Configure n_rxq DPDK port option when adding the port

On some platform, setting n_rxq option on port separately
does not work well and causes issues like port link down,
so changed the logic to set n_rxq DPDK port option during
adding the port to the bridge which help to resolve
the problem.

JIRA: YARDSTICK-1463

Change-Id: Icdb064153a38afd53b835de8742e6fcef08f66bb
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Add OvS 2.8.1 support into SA context

JIRA: YARDSTICK-1462

Change-Id: I001a173fc728be6e88f5ae6d38c64b740e536ff2
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "Fix influxdb "field type conflict" error"

Merge "Fix NSB PROX L3FWD dropping packets"

Merge "NSB PROX NFVi Test does not stop after reaching expected precision"

Adds option parameters to TC074

Add option parameters to TC074 to allow the user to specify
volume type, volume count, availability zone, stack name,
and subnet cidr.

JIRA:YARDSTICK-1294
Change-Id: I161f44b5f2c7e70fcfb80a3b916efc34bd06824c
Signed-off-by: Ameed Ashour <Ameed.Ashour.Ext@nokia.com>

Fix NSB PROX L3FWD dropping packets

JIRA: YARDSTICK-1037

Adjusted number of RX/TX descriptors to 2048, instead of default 256,
in order to cope with interrupts during which no packets are received
by the core, which results in the NIC dropping packets when it gets out
of available descriptors to buffer them.
Also adjusted mempool size, because more descriptors need more mbufs.

This change aligns L3FWD test case with other test cases, for which
number of RX/TX descriptors is already set to 2048.

Change-Id: I11378c078398aca799295b619bb3d14dbee04ca3
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Fix influxdb "field type conflict" error

JIRA: YARDSTICK-1457

Field types must be consistent across points in a measurement, otherwise
influxdb rejects newer points with "field type conflict" error.

This error was faced when "theor_max_throughput" field, meant to be
assigned as a float from "TxThroughput" sample, was instead assigned as
an int from initial value of theor_max_thruput variable. This especially
occured for subsequent packet sizes, when theor_max_thruput variable was
reset to its default int value.

This fix changes the default value of theor_max_thruput variable to 0.0,
and also makes sure that the default value for "Actual_throughput" field
is consistently a float.

Change-Id: If8d4f1297094709fe9657ab3e2b8adaad09815b2
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Modify IxNextgen API for traffic model configuration

Changes to IxNextgen API:
 - modify API for traffic model configuration so that it can be used
   to create/configure different models
 - add methods to start and stop protocols on IxNetwork
 - add method for getting assigned ports

JIRA: YARDSTICK-1455

Change-Id: I43c10fea9ba83994caf373ceff8b0252a45439b3
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

NSB PROX NFVi Test does not stop after reaching expected precision

JIRA: YARDSTICK-1419

When using prox_binsearch algorithm, a binary search is
performed, increasing lower bound when step was successful
and decreasing upper bound when the step was a failure.

This runs until the test_precision (as specified in the
traffic profile) is reached. When the test precision
is reached, the test is not completed until the
runner duration is reached.

As runner duration is usually high (e.g. 1800sec), the
tests take much too long to execute.
This makes it difficult to create test suites.

Change-Id: I6cc503a09fb534a556c61c805e6df4786bb8cc4b
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>