Yardstick container rabbitmq supervisor RUN state

Rabbitmq process exited supervisor and couldn't respawn it afterwards.
Updated the way rabbitmq service and node are spawned to have them
RUNNING after a service stop or node down.

JIRA: YARDSTICK-1600

Change-Id: Idd6812db7a1985e8c727efd7ea45572199c1a4a9
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Mock time.sleep in slow tests"

Merge "Unify different VNF testcases TG and VNF names"

Merge "Unify ACL testcases TG and VNF names"

Merge "Unify CGNAPT testcases TG and VNF names"

Merge "Unify Firewall testcases TG and VNF names"

Merge "Unify Router testcases TG and VNF names"

Merge "Unify PROX testcases TG and VNF names"

Merge "Unify vFW testcases TG and VNF names"

Merge "Improve SSH to Open/Close interactive terminal"

Merge "Update Sequence runner to use ScenarioOutput class"

Unify different VNF testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: I233b1ba24c85c2e93b831eefbcfe6757f5edf5ca
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify ACL testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: Ic5c8121828505dabdedf0b1cf559a5aebff7124c
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify CGNAPT testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: Iab61828f6e80c65330ee133b7f674457c091de94
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify Firewall testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: I70ebfb3598febd02b089b4fb653ee81d1147edd7
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify Router testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: Ifd876811683675c38ee71187213fe6377cbb4eda
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify PROX testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: Ic36a1f379422e5823db604ade84ea1d58b6df5a5
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Unify vFW testcases TG and VNF names

Rename TGs and VNFs to follow a single naming convention, for all VNFs:
  name: trafficgen_0
  role: tg__0

  name: vnf_0
  role: vnf__0

JIRA: YARDSTICK-1578

Change-Id: I03438d1b9484df759fe0129bdb050ff88f02563f
Signed-off-by: Orest Voznyy <orestx.voznyy@intel.com>

Merge "Add vBNG test cases stats processing functionality"

Update Sequence runner to use ScenarioOutput class

List of changes:
 - update Sequence runner to use new mechanism for reporting data (kpi)
 - add new rfc2544 example test case that executes the same test with
   different framesizes sequentially

JIRA: YARDSTICK-1592

Change-Id: I731cf1ca40f7232b26ea68f81d22248ebc53eb62
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Trex client not starting in 4 port baremetal

JIRA: YARDSTICK-1589

After calling STLclient.connect() there is no check if
connection was sucessfull or not.

Added a check for success on connect, retry if failure
and disconnect and connect on timeout.

If still connect failed then do not resume .. end with
LOG.critial and exit.

Change-Id: Ifd306b7920d9acbc16681cf79bf952d5af31eb64
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Support NSB NFVi buffering and Load Balance on 2 and 4 ports

JIRA: YARDSTICK-1582

Most use cases support 4 ports.
Buffering support only 1 core.
Request is about supporting buffering & Load balance
for 2 and 4 ports

Change-Id: I734f9d6702825b31253a21092c86fc72e367586b
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Merge "Replace script to install.yaml in nsb_setup.sh"

Add vBNG test cases stats processing functionality

JIRA: YARDSTICK-1546

Change-Id: I3575223ef8231fb4d574e961360b0f2d90a71749
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Refactor SampleVNF wait method

JIRA: YARDSTICK-1439

Change-Id: I26441fe1f6e34a867c1f19d60d2247e888af6c54
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Add rate 'resolution' option for IXIA rfc2544 test

Rate resolution value is compared with the difference between
the rates in two consecutive iterations. If the difference
is smaller than the resolution, the test stops.

JIRA: YYARDSTICK-1592

Change-Id: I3f203d33d1688734a59a8f62f31e3ad238bc63b0
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Merge "Fix exception handling ixload"

Merge "Refactor: add _get_timestamps()"

Merge "Add new scenario NSPerf-RFC2544"

Mock time.sleep in slow tests

time.sleep was called in a number of classes which wasn't
mocked in the tests.
This accounted for 2.5 minutes of UT execution time.

The calls to time.sleep() have been mocked, and the test
execution time has been reduced.

JIRA: YARDSTICK-1595
Change-Id: I0a4f4962513cf8845471b074347601e33b35ef25
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Fix exception handling ixload

Ixload uses its own version of python
By default it will fail to import yardstick.common exceptions.
For this reason for this reason ixload exceptions should be kept
in http_ixload.py

JIRA: YARDSTICK-1587

Change-Id: I5673fb5b89bbcdf4d3c60c283231d44d770999ec
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add new scenario NSPerf-RFC2544

List of changes:
 - Added new scenario NSPerf-RFC2544 that runs complete test per
   runner's iteration
 - NSPerf is still present for backward compatibility
 - Added ScenarioOutput class which allows scenario to report
   data (kpi,...) at any moment of time (not only once per run)
 - New output mechanism is used only by new NSPerf-RFC2544 scenario

JIRA: YARDSTICK-1592

Change-Id: Ica8078f61d895f74df90e8eaad7a675b28bd19c6
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Add cli option framesize for router

Remove any duplicated testcases
Default framesize to 64B: 100

JIRA: YARDSTICK-1554

Change-Id: I793cead17bc98c2487ca010a6639850bea5d7991
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add cli option framesize for cgnapt

Remove any duplicated testcases
Default framesize to 64B: 100

JIRA: YARDSTICK-1554

Change-Id: I2fd7caba9565ba16b2d6494f71ad9b9d476e398b
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add cli option framesize for acl vnf

Remove any duplicated testcases
Default framesize to 64B: 100

JIRA: YARDSTICK-1554

Change-Id: I61bbf2e7f0c4bd8c1b8e55769cae092e50140f6a
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Add cli option framesize for vfw vnf

Remove any duplicated testcases
Default framesize to 64B: 100
Remove _64B_ from name

JIRA: YARDSTICK-1554

Change-Id: Ic759971d09102fdbd459d920c441bfd9e794e7e0
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Refactor: add _get_timestamps()

JIRA: YARDSTICK-1593
Change-Id: I3ec352dd577c6030fa86a2817e264ba7c80773f1
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "NSB sync: clean-up draft IPC implementation (part 1)"

Merge "Concurrency testcases to be configured over cli"

Concurrency testcases to be configured over cli

This patch will allow the request size to be passed through cli
rather than having a seperate file for option.
yardstick -d task start --task-args='{page_size: "1b"}' <path to config>

JIRA: YARDSTICK-1554

Change-Id: I085d6d908533fb9a7a7566c7c669cb45cf1021e5
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Update Intel Copyright

JIRA: YARDSTICK-1591

Change-Id: I5130602e767009d83f7b39801006d68bcc126ba6
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

NSB sync: clean-up draft IPC implementation (part 1)

  The existing implementation of IPC is not finished and isn't used
by any of the VNFs/TG implementation. It is used in the code but does
nothing from functionality perspective.
  New syncronization mechanism is going to be implemented by using
different approach than it was designed before. Thus, the current
IPC mechanism is not going to be re-used. So, removing it.
  The IPC consumer/producer implementation is left as it may be
required for other purposes.

- Remove SampleVNF MQ consumer class
- Remove IterationIPC MQ producer for VNF control messages
- Remove MQ producer from SampleVNFTrafficGen class
- Remove TrafficGeneratorProducer class
- Remove IterationIPC runner
- Remove unused task_id form VNF Generic initialization as it is not
  required for synchronization of VNFs/TGs anymore.
- Fix UT

JIRA: YARDSTICK-1592

Change-Id: I65fe51bcbd1bfeea0c43eb79ca6fb2aab5b65ae7
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Merge "Remove redundant comment"

Merge "Yardsitck Gambia Release 7.2.0 release notes."

Merge changes from topic 'report/html_table'

* changes:
  Additional rework of NSB report
  Only show metrics for selected nodes in data table
  Fix conversion to JS for HTML reports

Merge "Add functional tests for HTML report"

Yardsitck Gambia Release 7.2.0 release notes.

release notes for Gambia 7.2.0

Change-Id: Ib7bd231ee61c73f593d99ab3b13a64c70e758e8a
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "[dovetail] split the sla check results into process recovery and service recovery for HA tcs"

Merge "Concurrency testcases to be configured over cli"

Merge "[docs][userguide] Add content and comments to ch12"

[docs][userguide] Add content and comments to ch12

JIRA: YARDSTICK-1335
Change-Id: Ibab629b44a8daeebab95fe7eee056b6403cd98c1
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Concurrency testcases to be configured over cli

Remove old Concurrency test cases
These test cases are no longer working.
page_object:
    uplink: ["/1b.html"]
should be used to specify request size

JIRA: YARDSTICK-1588

Change-Id: I446b3179ee090ca7a83fdaab57a96ac0f780dd93
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

[dovetail] split the sla check results into process recovery and service
recovery for HA tcs

make sla check for process recovery optional: only check when sla is
set.

JIRA: YARDSTICK-1512

Change-Id: I717d39614a1af2ee9e62dec3b8a32d7d611f557e
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Merge "Adding scale up feature to prox ACL SRIOV OvS-DPDK."

Merge "Pass the path of ssh public key to scenario method"

Adding scale up feature to prox ACL SRIOV OvS-DPDK.

Files to be added:

tc_prox_sriov_acl-scale-up.yaml

tc_prox_ovs-dpdk_acl-scale-up.yaml

JIRA: YARDSTICK-1553

Change-Id: Ib3a05aff2e6b9c0b3bced5b2b775e849a4e33ebf
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Merge "Updating yaml file to match other standalone test cases"

Remove redundant comment

Change-Id: I6f301b0a3d77a692aa06d570eaa6ef3e820973d7
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "[docs][userguide] Update NSB intro in ch12"

Merge "[docs] Make heading levels consistent"

[docs][userguide] Update NSB intro in ch12

This change removes the duplicated NSB entry in ch13 of the
userguide, and updates the intro in ch12. This gives a
better overview of NSB, and removes the duplicated intro.

JIRA: YARDSTICK-1335
Change-Id: Id40f998e4ae2c5256643b683c2e4d19ef472bbcf
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

[docs] Make heading levels consistent

Update the symbols used to denote different headings
to make them consistent across the userguide.

JIRA: YARDSTICK-1335
Change-Id: Ib5ab1f14bbaa819cf882dc00d68bc27da3f1eadb
Signed-off-by: Emma Foley <emma.l.foley@intel.com>

Merge "Suppress log outputs in test_ixnet_api"

Merge "Adding scale up feature to prox MPLS Tagging OvS-DPDK & SRIOV"

Adding scale up feature to prox MPLS Tagging OvS-DPDK & SRIOV

Files to be added:

tc_prox_sriov_mpls-tagging-scale-up.yaml

tc_prox_ovs-dpdk_mpls-tagging-scale-up.yaml

JIRA: YARDSTICK-1552

Change-Id: Ic40e3990378036304318058ed16170ecb36599e4
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Fix minor issues with IxNet L3 rfc2544

Changed default rate from 100pps to 100%.
Set Ip mask to 32

JIRA: YARDSTICK-1566

Change-Id: I4c0245297b2d6b254c06155047c3499f6572e9c5
Signed-off-by: Chornyi, TarasX <tarasx.chornyi@intel.com>

Improve SSH to Open/Close interactive terminal

Support Open/Close interactive terminal on a SSH channel.
Support Execute command on interactive terminal.

JIRA: YARDSTICK-1482

Change-Id: I0d1588707c3fb3e5e65fb72115f27e713d4b4828
Signed-off-by: treyad <treyad@viosoft.com>

Replace script to install.yaml in nsb_setup.sh

Replace 'nsb_setup.yml' with 'install.yaml' in 'nsb_setup.sh'.
Ansible script 'install.yaml' supports installations on Ubuntu 16/18
of Yardstick, packages dependencies and VM images.
Add possibility to provide and add to OpenStack non-NSB VM image.

JIRA: YARDSTICK-1577

Change-Id: I0cf7cbb354a5f389da432b05cb6f0b470fb5d8f1
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "[docs][userguide] Update formatting on userguide chapters 12-14"

Merge "Rework network_services/vnf_generic/vnf/test_sample_vnf.py:TestVnfSshHelper"

Merge "Update LABEL in docker file for Ubuntu 18"

Merge "Add IxNetwork L3 scenario implementation"

Merge "Remove duplicated Firewall baremetal testcases"

Merge "Remove duplicated Firewall Heat testcases"

Remove duplicated Firewall baremetal testcases

These tests are duplicated in vFW and thus invalid
Note: tc_baremetal_rfc2544_ipv4_1rule_1flow_1518B_ixia.yaml
is not present in vFW but is too similar to
tc_baremetal_rfc2544_ipv4_1rule_1flow_64B_ixia.yaml to have its
own testcase. Commandline options will be passed to theese
in future to spicify 64B or 1518B extra

JIRA: YARDSTICK-1564

Change-Id: I91f26f7649270b9b37e0abd1a6d4d720f5aaaaac
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Merge "Adding Testcase for Prox Stanalone Scale Up L2FWD (SRIOV OvS-DPDK)"

Merge "Adding scale up files for l2fwd Multi-flow OvS-DPDK & SRIOV"

Merge "Update to DPDK 18.11 support fro PROX"

Adding scale up files for l2fwd Multi-flow OvS-DPDK & SRIOV

Files added:
tc_prox_sriov_multi-flow-scale-up.yaml
tc_prox_ovs-dpdk_multi-flow-scale-up.yaml

JIRA: YARDSTICK-1551

Change-Id: I63c5adf79b00af4413dd1f131e918651567710d7
Signed-off-by: Carey, Alan <alan.carey@intel.com>

Merge "Sync up 'install.yaml' with 'nsb_setup.yml'"

Remove duplicated Firewall Heat testcases

These tests are duplicated in vFW and thus invalid

JIRA: YARDSTICK-1564

Change-Id: Idf7369e7a07aa0a3bf1a05815218244bdc22721d
Signed-off-by: John O Loughlin <john.oloughlin@intel.com>

Update LABEL in docker file for Ubuntu 18

Label for dcoker image is changed to opnfv/yardstick-ubuntu-18.04.

JIRA: YARDSTICK-1470

Change-Id: I983e2b25ba258bbf7ae96efa14f5f994bf783c81
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Update to DPDK 18.11 support fro PROX

Fix for undefined INSTALL_BIN_PATH variable and missing DPDK 18.11
dependency on libnuma-dev.

JIRA: YARDSTICK-1576

Change-Id: I544bc727f5ddc5bc43ac6ce4d1f8ff35c90077c7
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Merge "Add static ip mask support"

Merge "NSB support for [core x-y] NSB PROX NFVI configuration"

Merge "Fix latency configuration for PROX testcases"

Merge "Add support of DPDK version 18.11 for PROX, igb_uio"

Add support of DPDK version 18.11 for PROX, igb_uio

Adding DPDK version 18.11 support as per new requirement for PROX.
Since other sample VNFs are not supporting DPDK 18.11, they will
be using default DPDK version (17.05).

JIRA: YARDSTICK-1576

Change-Id: Ifab1886c51a22392f52f3e9e515a9d6b81edeefc
Signed-off-by: Oleksandr Naumets <oleksandrx.naumets@intel.com>

Add static ip mask support

JIRA: YARDSTICK-1566

Change-Id: I6a826d5662a1dfc818c9f1ddf94b3f01c3d37d3b
Signed-off-by: Chornyi, TarasX <tarasx.chornyi@intel.com>

Merge "[docs][glossary] Update the glossary"

Sync up 'install.yaml' with 'nsb_setup.yml'

Add support for barometer container. Add VM image to OpenStack.

JIRA: YARDSTICK-1573

Change-Id: I7946f080f93bb69b0380c9ea7f4d7e04cb284c15
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Add IxNetwork L3 scenario implementation

Protocol interfaces are creating with config from pod file
Static IP configuration are creating from testcase flow options

JIRA: YARDSTICK-1570

Change-Id: I74cde67b5084d5b65d09934fe8fce7760b5ea461
Signed-off-by: Myron Sosyak <myronx.sosyak@intel.com>

NSB support for [core x-y] NSB PROX NFVI configuration

JIRA: YARDSTICK-1571

Cores in PROX support multiple configurations

NSB supports today the more basic one, i.e. [core x]

When one wants to use multiple cores sharing the same
configuration, instead of copying the whole [core]
section, PROX support the following syntax

[core x-y]
where x is the 1st core and y the last one
or (for instance) [core x,y,z]

NSB Now supports

[core a,b,c,d]
[core a-d]
[core a,c-d]

Change-Id: I34cd107143c89e16d58e7a99e1887ffbf720a5d1
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Merge "Compatible with python2 and 3 string check"

Fix latency configuration for PROX testcases

JIRA: YARDSTICK-1460

Change-Id: Id6a633873a9b6fc8829d5282596200610cec5426
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Additional rework of NSB report

- Make format_for_jstree expect a list of metric names
- Avoid displaying timestamps twice in initial data table
- Sort metrics in initial data table
- Display testcase name
- Fix styling
- Make better use of JS and jQuery features
- Move event handler to JS file
- Avoid adding multiple tbody elements into data table
- Adjust unit tests and functional tests accordingly

JIRA: YARDSTICK-1367
Topic: report/html_table (12 of 12)

Change-Id: I85d853f8e392953cace67e94fa0af2e2492a2b86
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Only show metrics for selected nodes in data table

Together with timestamps, separately added into the table.
Optimize the showcasing of graphs and table.

JIRA: YARDSTICK-1367
Topic: report/html_table (11 of 12)

Change-Id: I263960b059fd27409b36f825664da8c2804e0425
Signed-off-by: Shobhi Jain <shobhi.jain@intel.com>
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Fix conversion to JS for HTML reports

Some new fields in InfluxDB have plain text contents that AST cannot
parse as valid expressions, resulting in exceptions being raised by
yardstick CLI commands "report generate" and "report generate-nsb".

Reworked _generate_common() to properly handle and convert:
- unicode, str and missing keys
- None, unicode, str, float, long and int values
- float, long and int stored as unicode or str values

Added test__generate_common() unit test, to verify all possible
conversion flavors.

Also renamed incorrect "tasks" to "metrics".

Also fixed warning in Python3 for some unit tests, caused by
deprecation of unittest.TestCase.assertRaisesRegexp().

JIRA: YARDSTICK-1367
Topic: report/html_table (10 of 12)

Change-Id: Iff75bfd2c1dcaf3806f67f52f0ea594f10aceb5b
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Add functional tests for HTML report

JIRA: YARDSTICK-1367
Topic: report/html_table (9 of 12)

Change-Id: I987203c4b3f49fb0f205e9b4c71bcbf4618041a0
Signed-off-by: Emma Foley <emma.l.foley@intel.com>
Signed-off-by: Patrice Buriez <patrice.buriez@intel.com>

Merge "Remove duplicated Firewall Concurrency testcases"