Yardstick Hunter 8.0.0 release notes

Yardstick Hunter 8.0.0 release notes

Change-Id: I168047b81db828342164e0bf76c5baea04e0d2a6
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
(cherry picked from commit 9539b3c3bd480d6dcbc37a7eacf44015cced3bb8)

Add a document descibing vCMTS testcase

JIRA: YARDSTICK-1601

Change-Id: Icfca620beb191fa935d820a23f8ce086498b130e
Signed-off-by: treyad <treyad@viosoft.com>
(cherry picked from commit a4f75aa4af079ae76a0da4350c344023d78c7d93)

Add a document describing vIMS testcase

Create a test case description file for NSB vIMS

JIRA: YARDSTICK-1441

Change-Id: Ib51839093dd90e0b70eac4030948985c2145f35e
Signed-off-by: treyad <treyad@viosoft.com>
(cherry picked from commit 41aaaad757eb399fac5c3c5c30cc41f5f4b5b405)

Add a document describing vIPSEC testcase

Create a test case description file for NSB vIPSEC

JIRA: YARDSTICK-1450

Change-Id: Iebaca9535e0ebc9f597d8e3c82c4339637eb3180
Signed-off-by: treyad <treyad@viosoft.com>
(cherry picked from commit ebd3b805b14a3f85c8db8b8ca9cd619abf0cde25)

[docs][nsb][install] Update source for sample pod files

The command for copying the sample pod files was incorrect
in one instance (baremetal config) and inconsistent in
other instances (using ./etc vs <yardstick>/etc vs <repo>/etc)

This updates 13-nsb-installation.rst for consistency.
Paths within the yardstick repo are preface with ``./``,
as initially, the user was instructed to ``cd yardstick``.

JIRA: YARDSTICK-1335
Change-Id: Ia5d5fae29373a177f775ea433c56f38bdeca536e
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
(cherry picked from commit 93d78694924c6fe51cc6b4e05bab97af05fc002d)

[bugfix] docker build failed in hunter due to storperf version

storperf do not have hunter branch, so it need to be set
as stable/gambia

JIRA: YARDSTICK-1610

Change-Id: I818396c46ce165019159b9852abb02f176507ac0
Signed-off-by: rexlee8776 <limingjiang@huawei.com>
(cherry picked from commit e6d688c6585e976010dc9c5b3a051613171a8ddc)

Yardstick verify job could base on the filetype to run the test

run the unit test, coverage test, functional test when the change
includes postfix py change. could add yaml/yml to run yamlint

JIRA: YARDSTICK-1598

Change-Id: I7d9199ec20575fc91cf0f38d84a05b02d63e316c
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Fix QnQ issue"

Migrate Trex TG to use new NSPerf-RFC2544 scenario

JIRA: YARDSTICK-1592

Change-Id: Ic51a52385ac53df9b5f56387af4f1b661bb0d86f
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Update Intel Copyright for files edited in 2019

JIRA: YARDSTICK-1591

Change-Id: I3ea9039d25bfce578681adb9e27e1598e84a1f56
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "Add Warning for key issue ixload"

Add Warning for key issue ixload

Currently there is a section of code that assigns a gateway
links[name]["ip"]["gateway"] = gateway
If the ip field has not already been defined a key error is
thrown and not handled. This error is then suppressed so
the program fails silently and thus causes the test case to hang.

JIRA: YARDSTICK-1586

Change-Id: I94a1081a2038fb58989b3033444ea5f3a6e178f0
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "Extend IXIA RFC2544 test case collected stats"

Merge "Add CPU isolation support for Yardstick NSB setup"

Merge "Add NSB test descriptors for vIPSEC testcase"

Add CPU isolation support for Yardstick NSB setup

Add support to define CPU isolation in grub by using NSB setup script.
List of CPU's to be isolated is not used by default and is defined in
install-inventory.ini.
Warning: reboot is required to apply CPU isolation to grub.

JIRA: YARDSTICK-1467

Change-Id: I54ffa925a8f3059180d17ff4f1c41ff6e0f12066
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Mock time.sleep in slow tests"

Merge "Unify different VNF testcases TG and VNF names"

Merge "Unify ACL testcases TG and VNF names"

Merge "Unify CGNAPT testcases TG and VNF names"

Merge "Unify Firewall testcases TG and VNF names"

Merge "Unify Router testcases TG and VNF names"

Merge "Unify PROX testcases TG and VNF names"

Merge "Unify vFW testcases TG and VNF names"

Extend IXIA RFC2544 test case collected stats

Added new fields into Yardstick NSB IXIA RFC2544 test case results:
- Iteration (only for NSPerf-RFC2544 scenario)
- Rate (for NSPerf and NSPerf-RFC2544 scenarios)
- PktSize (for NSPerf and NSPerf-RFC2544 scenarios)

JIRA: YARDSTICK-1596

Change-Id: I3bbf4aabf8b57580ebe644e967a5dab69e3a7c8d
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Merge "Improve SSH to Open/Close interactive terminal"

Merge "Update Sequence runner to use ScenarioOutput class"

Unify different VNF testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: I233b1ba24c85c2e93b831eefbcfe6757f5edf5ca
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify ACL testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: Ic5c8121828505dabdedf0b1cf559a5aebff7124c
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify CGNAPT testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: Iab61828f6e80c65330ee133b7f674457c091de94
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify Firewall testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: I70ebfb3598febd02b089b4fb653ee81d1147edd7
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify Router testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: Ifd876811683675c38ee71187213fe6377cbb4eda
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify PROX testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: Ic36a1f379422e5823db604ade84ea1d58b6df5a5
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify vFW testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: I03438d1b9484df759fe0129bdb050ff88f02563f
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Fix QnQ issue

Currently if multiple tests are run with a QnQ section defined the QnQ
segment gets appended to the frame. This leads to invalid frames when
the test is run for more than 1 iteration. With this patch the QnQ is
updated if the QnQ segment has already been created.

JIRA: YARDSTICK-1513

Change-Id: I4ba6ef89380ccf1cb8a132ff5bf048935a87f0c9
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Merge "Add vBNG test cases stats processing functionality"

Update Sequence runner to use ScenarioOutput class

List of changes:
 - update Sequence runner to use new mechanism for reporting data (kpi)
 - add new rfc2544 example test case that executes the same test with
   different framesizes sequentially

JIRA: YARDSTICK-1592

Change-Id: I731cf1ca40f7232b26ea68f81d22248ebc53eb62
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Trex client not starting in 4 port baremetal

JIRA: YARDSTICK-1589

After calling STLclient.connect() there is no check if
connection was sucessfull or not.

Added a check for success on connect, retry if failure
and disconnect and connect on timeout.

If still connect failed then do not resume .. end with
LOG.critial and exit.

Change-Id: Ifd306b7920d9acbc16681cf79bf952d5af31eb64
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Support NSB NFVi buffering and Load Balance on 2 and 4 ports

JIRA: YARDSTICK-1582

Most use cases support 4 ports.
Buffering support only 1 core.
Request is about supporting buffering & Load balance
for 2 and 4 ports

Change-Id: I734f9d6702825b31253a21092c86fc72e367586b
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Merge "Replace script to install.yaml in nsb_setup.sh"

Add vBNG test cases stats processing functionality

JIRA: YARDSTICK-1546

Change-Id: I3575223ef8231fb4d574e961360b0f2d90a71749
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Refactor SampleVNF wait method

JIRA: YARDSTICK-1439

Change-Id: I26441fe1f6e34a867c1f19d60d2247e888af6c54
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Add rate 'resolution' option for IXIA rfc2544 test

Rate resolution value is compared with the difference between
the rates in two consecutive iterations. If the difference
is smaller than the resolution, the test stops.

JIRA: YYARDSTICK-1592

Change-Id: I3f203d33d1688734a59a8f62f31e3ad238bc63b0
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Merge "Fix exception handling ixload"

Merge "Refactor: add _get_timestamps()"

Merge "Add new scenario NSPerf-RFC2544"

Mock time.sleep in slow tests

time.sleep was called in a number of classes which wasn't
mocked in the tests.
This accounted for 2.5 minutes of UT execution time.

The calls to time.sleep() have been mocked, and the test
execution time has been reduced.

JIRA: YARDSTICK-1595
Change-Id: I0a4f4962513cf8845471b074347601e33b35ef25
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Fix exception handling ixload

Ixload uses its own version of python
By default it will fail to import yardstick.common exceptions.
For this reason for this reason ixload exceptions should be kept
in http_ixload.py

JIRA: YARDSTICK-1587

Change-Id: I5673fb5b89bbcdf4d3c60c283231d44d770999ec
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add new scenario NSPerf-RFC2544

List of changes:
 - Added new scenario NSPerf-RFC2544 that runs complete test per
   runner's iteration
 - NSPerf is still present for backward compatibility
 - Added ScenarioOutput class which allows scenario to report
   data (kpi,...) at any moment of time (not only once per run)
 - New output mechanism is used only by new NSPerf-RFC2544 scenario

JIRA: YARDSTICK-1592

Change-Id: Ica8078f61d895f74df90e8eaad7a675b28bd19c6
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Add cli option framesize for router

Remove any duplicated testcases
Default framesize to 64B: 100

JIRA: YARDSTICK-1554

Change-Id: I793cead17bc98c2487ca010a6639850bea5d7991
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add cli option framesize for cgnapt

Remove any duplicated testcases
Default framesize to 64B: 100

JIRA: YARDSTICK-1554

Change-Id: I2fd7caba9565ba16b2d6494f71ad9b9d476e398b
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add cli option framesize for acl vnf

Remove any duplicated testcases
Default framesize to 64B: 100

JIRA: YARDSTICK-1554

Change-Id: I61bbf2e7f0c4bd8c1b8e55769cae092e50140f6a
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add cli option framesize for vfw vnf

Remove any duplicated testcases
Default framesize to 64B: 100
Remove _64B_ from name

JIRA: YARDSTICK-1554

Change-Id: Ic759971d09102fdbd459d920c441bfd9e794e7e0
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Refactor: add _get_timestamps()

JIRA: YARDSTICK-1593
Change-Id: I3ec352dd577c6030fa86a2817e264ba7c80773f1
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "NSB sync: clean-up draft IPC implementation (part 1)"

Merge "Concurrency testcases to be configured over cli"

Concurrency testcases to be configured over cli

This patch will allow the request size to be passed through cli
rather than having a seperate file for option.
yardstick -d task start --task-args='{page_size: "1b"}' <path to config>

JIRA: YARDSTICK-1554

Change-Id: I085d6d908533fb9a7a7566c7c669cb45cf1021e5
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Update Intel Copyright

JIRA: YARDSTICK-1591

Change-Id: I5130602e767009d83f7b39801006d68bcc126ba6
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

NSB sync: clean-up draft IPC implementation (part 1)

  The existing implementation of IPC is not finished and isn't used
by any of the VNFs/TG implementation. It is used in the code but does
nothing from functionality perspective.
  New syncronization mechanism is going to be implemented by using
different approach than it was designed before. Thus, the current
IPC mechanism is not going to be re-used. So, removing it.
  The IPC consumer/producer implementation is left as it may be
required for other purposes.

- Remove SampleVNF MQ consumer class
- Remove IterationIPC MQ producer for VNF control messages
- Remove MQ producer from SampleVNFTrafficGen class
- Remove TrafficGeneratorProducer class
- Remove IterationIPC runner
- Remove unused task_id form VNF Generic initialization as it is not
  required for synchronization of VNFs/TGs anymore.
- Fix UT

JIRA: YARDSTICK-1592

Change-Id: I65fe51bcbd1bfeea0c43eb79ca6fb2aab5b65ae7
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "Remove redundant comment"

Merge "Yardsitck Gambia Release 7.2.0 release notes."

Merge changes from topic 'report/html_table'

* changes:
  Additional rework of NSB report
  Only show metrics for selected nodes in data table
  Fix conversion to JS for HTML reports

Merge "Add functional tests for HTML report"

Yardsitck Gambia Release 7.2.0 release notes.

release notes for Gambia 7.2.0

Change-Id: Ib7bd231ee61c73f593d99ab3b13a64c70e758e8a
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "[dovetail] split the sla check results into process recovery and service recovery for HA tcs"

Merge "Concurrency testcases to be configured over cli"

Merge "[docs][userguide] Add content and comments to ch12"

[docs][userguide] Add content and comments to ch12

JIRA: YARDSTICK-1335
Change-Id: Ibab629b44a8daeebab95fe7eee056b6403cd98c1
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Concurrency testcases to be configured over cli

Remove old Concurrency test cases
These test cases are no longer working.
page_object:
    uplink: ["/1b.html"]
should be used to specify request size

JIRA: YARDSTICK-1588

Change-Id: I446b3179ee090ca7a83fdaab57a96ac0f780dd93
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

[dovetail] split the sla check results into process recovery and service
recovery for HA tcs

make sla check for process recovery optional: only check when sla is
set.

JIRA: YARDSTICK-1512

Change-Id: I717d39614a1af2ee9e62dec3b8a32d7d611f557e
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Adding scale up feature to prox ACL SRIOV OvS-DPDK."

Merge "Pass the path of ssh public key to scenario method"

Adding scale up feature to prox ACL SRIOV OvS-DPDK.

Files to be added:

tc_prox_sriov_acl-scale-up.yaml

tc_prox_ovs-dpdk_acl-scale-up.yaml

JIRA: YARDSTICK-1553

Change-Id: Ib3a05aff2e6b9c0b3bced5b2b775e849a4e33ebf
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Merge "Updating yaml file to match other standalone test cases"

Remove redundant comment

Change-Id: I6f301b0a3d77a692aa06d570eaa6ef3e820973d7
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Add NSB test descriptors for vIPSEC testcase

JIRA: YARDSTICK-1452

Change-Id: Id9731ab52da76efb553a89629ca4639ff3c09650
Signed-off-by: treyad <treyad@viosoft.com>

Merge "[docs][userguide] Update NSB intro in ch12"

Merge "[docs] Make heading levels consistent"

[docs][userguide] Update NSB intro in ch12

This change removes the duplicated NSB entry in ch13 of the
userguide, and updates the intro in ch12. This gives a
better overview of NSB, and removes the duplicated intro.

JIRA: YARDSTICK-1335
Change-Id: Id40f998e4ae2c5256643b683c2e4d19ef472bbcf
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Make heading levels consistent

Update the symbols used to denote different headings
to make them consistent across the userguide.

JIRA: YARDSTICK-1335
Change-Id: Ib5ab1f14bbaa819cf882dc00d68bc27da3f1eadb
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "Suppress log outputs in test_ixnet_api"

Merge "Adding scale up feature to prox MPLS Tagging OvS-DPDK & SRIOV"

Adding scale up feature to prox MPLS Tagging OvS-DPDK & SRIOV

Files to be added:

tc_prox_sriov_mpls-tagging-scale-up.yaml

tc_prox_ovs-dpdk_mpls-tagging-scale-up.yaml

JIRA: YARDSTICK-1552

Change-Id: Ic40e3990378036304318058ed16170ecb36599e4
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Fix minor issues with IxNet L3 rfc2544

Changed default rate from 100pps to 100%.
Set Ip mask to 32

JIRA: YARDSTICK-1566

Change-Id: I4c0245297b2d6b254c06155047c3499f6572e9c5
Signed-off-by: Chornyi, TarasX <tarasx.chornyi@intel.com>

Improve SSH to Open/Close interactive terminal

Support Open/Close interactive terminal on a SSH channel.
Support Execute command on interactive terminal.

JIRA: YARDSTICK-1482

Change-Id: I0d1588707c3fb3e5e65fb72115f27e713d4b4828
Signed-off-by: treyad <treyad@viosoft.com>

Replace script to install.yaml in nsb_setup.sh

Replace 'nsb_setup.yml' with 'install.yaml' in 'nsb_setup.sh'.
Ansible script 'install.yaml' supports installations on Ubuntu 16/18
of Yardstick, packages dependencies and VM images.
Add possibility to provide and add to OpenStack non-NSB VM image.

JIRA: YARDSTICK-1577

Change-Id: I0cf7cbb354a5f389da432b05cb6f0b470fb5d8f1
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "[docs][userguide] Update formatting on userguide chapters 12-14"

Merge "Rework network_services/vnf_generic/vnf/test_sample_vnf.py:TestVnfSshHelper"

Merge "Update LABEL in docker file for Ubuntu 18"

Merge "Add IxNetwork L3 scenario implementation"

Merge "Remove duplicated Firewall baremetal testcases"

Merge "Remove duplicated Firewall Heat testcases"

Remove duplicated Firewall baremetal testcases

These tests are duplicated in vFW and thus invalid
Note: tc_baremetal_rfc2544_ipv4_1rule_1flow_1518B_ixia.yaml
is not present in vFW but is too similar to
tc_baremetal_rfc2544_ipv4_1rule_1flow_64B_ixia.yaml to have its
own testcase. Commandline options will be passed to theese
in future to spicify 64B or 1518B extra

JIRA: YARDSTICK-1564

Change-Id: I91f26f7649270b9b37e0abd1a6d4d720f5aaaaac
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "Adding Testcase for Prox Stanalone Scale Up L2FWD (SRIOV OvS-DPDK)"

Merge "Adding scale up files for l2fwd Multi-flow OvS-DPDK & SRIOV"

Merge "Update to DPDK 18.11 support fro PROX"

Adding scale up files for l2fwd Multi-flow OvS-DPDK & SRIOV

Files added:
tc_prox_sriov_multi-flow-scale-up.yaml
tc_prox_ovs-dpdk_multi-flow-scale-up.yaml

JIRA: YARDSTICK-1551

Change-Id: I63c5adf79b00af4413dd1f131e918651567710d7
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Merge "Sync up 'install.yaml' with 'nsb_setup.yml'"

Remove duplicated Firewall Heat testcases

These tests are duplicated in vFW and thus invalid

JIRA: YARDSTICK-1564

Change-Id: Idf7369e7a07aa0a3bf1a05815218244bdc22721d
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Update LABEL in docker file for Ubuntu 18

Label for dcoker image is changed to opnfv/yardstick-ubuntu-18.04.

JIRA: YARDSTICK-1470

Change-Id: I983e2b25ba258bbf7ae96efa14f5f994bf783c81
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>