Merge "Bugfix: Gambia ci job failed on apex and compass"

Merge "Add prox test case for OvS-DPDK & 4 Port"

Merge "Adding Test Cases for Prox PktTouch Standalone SRIOV"

Bugfix: Gambia ci job failed on apex and compass

update according to [1]

[1]
https://github.com/openstack/requirements/blob/stable/queens/upper-constraints.txt

Change-Id: If21e39470a33b9e7591cebe7f24b8f689edf4898
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Setup hugepages on SA host(sriov, ovs_dpdk)"

Add prox test case for OvS-DPDK & 4 Port

JIRA: YARDSTICK-1475

Change-Id: I511130ad65acbd2a052b6285c8408bfc098adbb6
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Merge "Add prox test case for SRIOV & 4 ports."

Merge "Make OvS max_idle & queues configuration optional"

Merge "Adding Test Cases for Prox PktTouch Standalone OvS-DPDK"

Merge "Add IxNextgen API for settings IP priority"

Merge "Add API for PPPoE clients statistic retrieval"

Merge "Update: assign static IP to VM for standalone"

Merge "Add 8 port topology file for agnostic vnf with ixia tg"

Add prox test case for SRIOV & 4 ports.

Changes made to prox_bm.yaml file for 4 port support.

JIRA: YARDSTICK-1471

Change-Id: I7e7873bd6d2337659ca19abfd4d2b4db5d89fc95
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Adding Test Cases for Prox PktTouch Standalone SRIOV

Patch contains two test case files: 2 Port & 4 Port

JIRA: YARDSTICK-1501

Change-Id: Ia3fff6ea97577d078a216d5d02f8e5257df1bd13
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Merge "Update Multi Port Stats reading for PROX"

[docs] Update mailing list to use #yardstick

The mailing list is on a new system that lets you use #topics
instead of [topics]. The contact information has been updated
to reflect this.

JIRA: YARDSTICK-1335
Change-Id: Ida9af98f00761a3bff8903165fd2806163787ccd
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge changes from topic 'doc/nsb-qsg'

* changes:
  [docs][userguide] Update formatting for Influx instructions in ch04
  [userguide] Update the directory structure listing
  [docs][devguide] Fix line lengths in devguide_nsb_prox.rst

Merge "[docs] Add vEPC test case preparation steps"

Merge "Added http concurrency test suite for agnostic VNF"

Merge "Fix python lib path for ixload control subprocess"

Add API for PPPoE clients statistic retrieval

Add IxNextgen API for PPPoE clients per port statistics retrieval.

JIRA: YARDSTICK-1480

Change-Id: Ic22cf4a085ad957891575e9728584aee939a6630
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Update Multi Port Stats reading for PROX

JIRA: YARDSTICK-1458

Removed excessive jitter by removing extra sleeps in start/stop/reset
  ssh
Removed extra retries when bad data returned
Added a slep at end of test to give runner a chance to empty the queue
  on shutdown
Added a timeout on port retry attempts

Change-Id: Ica60b11c7af242817a83c154157827581f60d16a
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Merge "Test case override of traffic profile settings."

Merge "[docs] Rename image tc014_pod_frase{e,}r.png"

Merge "[docs] Fix "Error in xxx directive" warning"

Merge "[docs] Fix docs {un,}indent warnings in Testcase definitions"

Merge "[docs] Update header levels"

Merge "[docs] Remove vtc results chapter and references"

Merge changes from topic 'docs/fix-warnings'

* changes:
  [docs] Fix unresolved reference warning
  [docs] Update broken and redirected links

Add 8 port topology file for agnostic vnf with ixia tg

JIRA: YARDSTICK-1509

Change-Id: I516b8011d0debb99105596755f04e858b2ce87b3
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

[docs] Add vEPC test case preparation steps

Add documentation to review the changes to original vEPC infrastructure
files to configure NSB test run in a specific test setup.

Add initial steps to prepare NSB to use Spirent Landslide for vEPC tests.

JIRA: YARDSTICK-1459

Change-Id: I3b937b1a21d6ec6851a92946e46c679385fdff9c
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Make OvS max_idle & queues configuration optional

Remove hardcoded rx queue value

JIRA: YARDSTICK-1493

Change-Id: Ia4944db21d94399c724bcabf4e0eae809518e7e9
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "[docs] Test case documentation for vEPC testing"

Merge "Add IxNextgen API for setting tracking options"

Merge "Add IxNextgen API for checking protocols status"

Merge "Make OvS to listen on TCP by default"

[docs] Test case documentation for vEPC testing

JIRA: YARDSTICK-1349

The test case document will cover the following:
- test purpose
- test configuration
- pre-test conditions
- test sequence
- test verdict

Change-Id: I2841a7ff3d248bb3e4739579fad722dc02b5504f
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

Merge "Update: Trex KPI not collected no rabbitmq user"

Update: Trex KPI not collected no rabbitmq user

Update of review #63707: missed yardstick password hash.
This must be set on top of changes on review.

JIRA: YARDSTICK-1479

Change-Id: Ia8783de81ad91ea7421c6bbff87a30c59db2d44c
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Adding Grafana dashboard for visualizing the vEPC default bearer metrics."

Added http concurrency test suite for agnostic VNF

Added http concurrency test suite and test template.
In the test pemplate user can set number of users and page size

JIRA: YARDSTICK-1438

Change-Id: I510c37309568c1ef9c4ab34d3b85614120dc79a8
Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

Adding Test Cases for Prox PktTouch Standalone OvS-DPDK

Patch contains two test case files: 2 Port & 4 Port

JIRA: YARDSTICK-1500

Change-Id: Ia80ef1de072f1402196cc65089ab6929c09ecb6f
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Adding Grafana dashboard for visualizing the vEPC default bearer metrics.

The dashboard will highlight the Network metrics captured from Spirent landslide traffic generator.

JIRA: YARDSTICK-1350

Change-Id: I47920446181355a97e875fd82afd633b336c8da6
Signed-off-by: Carey, Alan <alan.carey@intel.com>

[docs][userguide] Update formatting for Influx instructions in ch04

JIRA: YARDSTICK-1335
Change-Id: I2422d12a8c34fe2afaab349cbbb4dfe579057cb1
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[userguide] Update the directory structure listing

Change-Id: I4ff6f94a6d309e1604672a41c581d0768c91a5d2
JIRA: YARDSTICK-1335
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs][devguide] Fix line lengths in devguide_nsb_prox.rst

JIRA: YARDSTICK-1335
Change-Id: I863da3318a71dbcf2dc3f2b43fda6a92feed2089
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Update: assign static IP to VM for standalone

Updated cloud-init network file to be used on Ubuntu 16.04 and
Ubuntu 18.04. Fields 'macaddress' and 'prefix' modified in
network-config file.

JIRA: YARDSTICK-1402

Change-Id: Ibe7fb9dbf23326a0a6106f98d3b2b9fedf81f79a
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

[docs] Rename image tc014_pod_frase{e,}r.png

docs/release/results/tc014-cpu-processing-speed.rst
includes the image tc014_pod_fraser.png. This image was
incorrectly named tc014_pod_fraseer.png.

This patch fixes the image name so that the link is valid.

JIRA: YARDSTICK-1416
Change-Id: I37d8ee687f4dbd1a8b906e2934a4119f9fdd8041
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Fix "Error in xxx directive" warning

JIRA: YARDSTICK-1416
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Change-Id: I58c511454e052496e0b72ea28142b331514475c5

[docs] Fix docs {un,}indent warnings in Testcase definitions

Mostly, the issues were with un/indentation.
This has been fixed, and `tox -e docs` now issues less warnings.

JIRA: YARDSTICK-1416
Change-Id: Ie58a8dba42e9868357e1dce414cb1a01af8ad1f4
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Update header levels

JIRA: YARDSTICK-1335
Change-Id: I202634a7427a409f0e2ca786c8bb5e05a5b4351d
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Remove vtc results chapter and references

The vTC chapter in the userguide was previously removed [1]
Some references and results still remained and needed to be removed.

[1] https://gerrit.opnfv.org/gerrit/gitweb?p=yardstick.git;a=commit;h=114a486558c96152fffb5050840460a54de64d15

JIRA: YARDSTICK-1335
Change-Id: I17806d90ae8bc4dbf813ef89bbc22dc012b4a686
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Fix unresolved reference warning

JIRA: YARDSTICK-1416
Change-Id: Ibdc9b48e31aff171c59278f9ca19767392f4eeba
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Update broken and redirected links

A number of links were broken, or permenently redirected.
Some literal include directives pointed to the wrong location.

These have been updated, so the links are valid.

JIRA: YARDSTICK-1416
Change-Id: Icd20113e0ab099850fa58fa41bb27a00670f57ca
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "[docs] Fix links to remove references to submodules"

Merge "Add RFC2544 iteration status field"

Merge "Dashboard with Network and Platform NFVi metrics"

Make OvS to listen on TCP by default

JIRA: YARDSTICK-1492

Change-Id: I81c682d473ffe3d70ecbb42cce40c2d16e608b41
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Add RFC2544 iteration status field

 Added new RFC2544 iteration status field into the
testcase result to be able to exctract the best
RX/TX throughput value from each iteration.

 The field equal "Success" if the trhoughput value is in the
given drop percentage range and "Failure" otherwise.

JIRA: YARDSTICK-1389

Change-Id: I2fb2ef036b63a0e7bbf3d6c6568d3bdffa488e1f
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "Pod file fix for Prox 2 port"

Merge "Fix latency for ACL test cases"

Dashboard with Network and Platform NFVi metrics

Added the PROX L3FWD Grafana dashboard with NFVi metrics
collected from barometer collectd container.

The dashboard has template field for HOST/SUT name
to get the collectd metrics from that SUT.

JIRA: YARDSTICK-1412

Update:
- Added table and graphs for TG NFVi metrics
- Added TG and SUT templates as IP address
- Added IPC(instruction per cycles) metric

Change-Id: I1f8971f551df27ad6a16241693527285610fc82d
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

[docs] Fix links to remove references to submodules

All references to submodules must be removed for docs to
work going forward.

Can be tested once your project has a local tox file

Change-Id: Id74581cc584f70ae0b31e31c9dd91593c7be6615
Signed-off-by: Aric Gardner <agardner@linuxfoundation.org>

[docs] Update on Yardstick installation

Added details how to install Yardstick using install.yaml.

Updated:
 - 04-installation.rst
 - 13-nsb-installation.rst

JIRA: YARDSTICK-1335

Change-Id: I526c328f1b197833a2cf496cfef15ba89c11fab1
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Add test library name update in DMF and mainflows"

Merge "Add traffic duration support in test case"

Merge "Proposing Volodymyr Mytnyk as a committer to Yardstick"

Merge "[docs] Add developer guidelines for contribution"

Merge "[docs] Add conventions for writing unit tests."

[docs] Add conventions for writing unit tests.

Added details of conventions used when writing unit tests.

JIRA: YARDSTICK-1335
Change-Id: I7bb141126968c88c8a2d7e0dce4f33ed6f79cee4
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Add developer guidelines for contribution

A new section was added to the devguide, stating
expectations for code contributions.

* What to include in a change
* Code style guidelines
* How to run tests

JIRA: YARDSTICK-1335
Change-Id: Idfe7790042a3a3fe6cd8763374b10f2268bd63cd
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Update the glossary

Add some new terms (OpenStack, Docker, PROX).

JIRA: YARDSTICK-1335
Change-Id: I948957cf7b1540f7a027ab9da2d829e5e05c87c8
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Fix latency for ACL test cases

JIRA: YARDSTICK-1460

Cores running "mode=lat" must be properly configured with a correct
"lat pos" parameter. When this parameter is missing, PROX exits with
an error message.
When the "lat pos" parameter is missing for cores running "mode=gen",
latency values are not written into the packets.
Also fixed some typos, packet inline format, IP len and UDP len.

Change-Id: Ice06c5d74686c80f09bc60f568993dbf3165b338
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Add IxNextgen API for settings IP priority

Add IxNextgen API for setting IP priority which includes:
- Raw priority;
- ToS;
- Diff-Serv.

JIRA: YARDSTICK-1488

Change-Id: I83d85db113a5374fdafc3d50130e5e3584edfc4a
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Merge "Allow to see steady state status in the yardstick logs"

Setup hugepages on SA host(sriov, ovs_dpdk)

JIRA: YARDSTICK-1461

Change-Id: Ia1f5026eee989672aac57775ec9dd182df658fa4
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Merge "Add Testcase for Prox Standalone OvS-DPDK."

Merge "Add Testcase for Prox Standalone SRIOV."

Merge "Trex KPI are not collected due to rabbitmq user"

Add traffic duration support in test case

Implement code to support traffic_duration field in test case options.
This updates the 'duration' in Landslide session profile.
traffic_duration should always be much less than runner duration/timeout.

JIRA: YARDSTICK-1427

Change-Id: I51094bade683ca8758136ccb619e8894a2ecef72
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Add Testcase for Prox Standalone SRIOV.

No sample testcase for prox SRIOV standalone.

Renamed pod file so that other prox testcases can use this file

JIRA: YARDSTICK-1471

Change-Id: Icc20e395a3fb4c9d1398f85198d64682b2a9ee33
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Add Testcase for Prox Standalone OvS-DPDK.

No sample testcase for prox OvS-DPDK standalone.

JIRA: YARDSTICK-1475

Change-Id: Ide65444d08d6c90e7e98d59b7d1f4cba8ca7397f
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Proposing Volodymyr Mytnyk as a committer to Yardstick

Volodymyr has contributed to Yardstick in the following
ways over the last year:

* Regular reviews
* Validation of changes
* Bug fixes across different contexts, TGs and SampleVNFs
* Tested and updated many sample testcases for NSB
* Installer improvements

Change-Id: I9a28ac15bd6ceb5f5c599e602fb2651bd7b9e622
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Add test library name update in DMF and mainflows

Add automatic update of traffic profile items library name update, as well
as update of session profile Dmf library name, to avoid the need of user
changing it in template files.

Update affected unit tests.

JIRA: YARDSTICK-1474

Change-Id: I18cc8ca99a47da862753329c87d1a560a97f76fa
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Add IxNextgen API for checking protocols status

Added IxNextgen API methods which allows to check status of created
protocols

JIRA: YARDSTICK-1468

Change-Id: Id40b59ac258bcce6501862520bd042d31d926783
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Pod file fix for Prox 2 port

Removing the "keyfile" from the pod file to align with other
pod files for 1 and 4 port. The file when used as such currently
gives an error. This change will fix that.

JIRA:YARDSTICK-1477

Change-Id: Ibfa9387d068a0098ea0eb0b31ad96108d0602abc
Signed-off-by: Abhijit Sinha <abhijit.sinha@intel.com>

Trex KPI are not collected due to rabbitmq user

Changed the way rabbitmq-server user is created. Fix is needed to
collect KPIs from Trex.

JIRA: YARDSTICK-1479

Change-Id: I54369535fdb7af6af76de30f758227736f83db78
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Fix default IPv4 mask for IxNetwork traffic config

IP mask is set depending on the IP range provided by the user in the
traffic profile. In case of single IP in range, IPV4LENGTH value is
used as mask should cover all address bits.

JIRA: YARDSTICK-1478

Change-Id: I5ad40d1f3def52ebcda4400b708b71faf11e12ab
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

fix yardstick verify job

The regex is not compatible with pip version 18.

JIRA: INFRA-310

Change-Id: I6eaf1e3fac183f85c277934929e9065efa88d877
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Added traffic update capability to Ixload TG"

Merge "[docs] Transition to local docs build job."

Add IxNextgen API for setting tracking options

Added IxNextgen API for setting:
- ingress flows tracking options
- egress flows tracking options

JIRA: YARDSTICK-1472

Change-Id: Ia604025a7d181213200c6562260b25cf11d4d73e
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Merge "Adds option parameters to TC074"

Merge "Add 4 port topology for agnostic vnf and Ixia tg"

Merge "Add OvS 2.8.1 support into SA context"

Merge "Configure n_rxq DPDK port option when adding the port"

Merge "Modify handling Ixia traffic profile parameters"

Test case override of traffic profile settings.

JIRA: YARDSTICK-1298

Allow the test case file e.g. "tc_prox_baremetal_l2fwd-4.yaml"
settings to override the values in the traffic_profile file
e.g. "prox_binsearch.yaml"

This is done by adding the "traffic_config" section to the
"options" section in the "test case file".

See below :-

  options:
    interface_speed_gbps: 10

    traffic_config:
      tolerated_loss: 0.001
      test_precision: 0.1
      packet_sizes: [64]
      duration: 30
      lower_bound: 0.0
      upper_bound: 100.0

    vnf__0:
      prox_path: /opt/nsb_bin/prox
      prox_config: "configs/handle_l2fwd-4.cfg"
      prox_args:
        "-t": ""

    tg__0:
      prox_path: /opt/nsb_bin/prox
      prox_config: "configs/gen_l2fwd-4.cfg"
      prox_args:
        "-e": ""
        "-t": ""

Precedence of the traffic settings.

1. Values provided in the "traffic_config" section, inside
   the "options" section, of the test case file
2. values provided in the "traffic_profile" section of the
   traffic_profile file

Change-Id: I6b4e123e865c9dab548f9ad28647f95b53410e8f
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Added traffic update capability to Ixload TG

Allow yardstick to update IP/MAX of Net traffic

- Implemented functionality for updating traffics IP/MAC address
  in ixloadconfiguration.
- Extended http_ixload.py with functions for update IP/MAC
  address of netTraffic.
- In HTTP-vFW_IPv4_2Ports_Concurrency.rxf changed name's of
  networks from "client network" to "uplink_0 and the same for
  server

JIRA: YARDSTICK-1418

Change-Id: I28ef68b77466fff15af589954e3ef63e8099428f
Signed-off-by: Myron Sosyak <myronx.sosyak@intel.com>
Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>