Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Execute refstack_defcore in ci/run.yaml

    Change-Id: Ib65203e74244d87f7ac6b24f6e6abf723c57a786
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Fix issues with 'Success_' stats reported by ProxBinSearchProfile"
  - Fix issues with 'Success_' stats reported by ProxBinSearchProfile

    List of changes:
      - Added 'Status' field to indicate status of each search iteration.
        Possible values are 'Success', 'Failure', 'Result'.
      - Removed reporting of duplicated stats with 'Success_' prefix.
        Instead 'Status' field is set to 'Success'
      - Removed reporting of duplicated stats with 'Result_' prefix.
        Instead 'Status' field is set to 'Result'
      - Updated Prox_BM_L2FWD-4Port_MultiSize-1518452496550.json dashboard
        to query success and result status by 'Status' field value.

    JIRA: YARDSTICK-1386

    Change-Id: I9a21a102af6cb4db137e805011b5d81c4943d77b
Signed-off-by: Serhiy Pshyk <serhiyx.pshyk@intel.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Runners crash on test startup."
  - Runners crash on test startup.

    JIRA: YARDSTICK-1393

    The problem resides in this traffic generator class: this class
    is inheriting from SampleVNFTrafficGen and overriding the
    __init__ method but is NOT calling the parent class __init__
    one.

    Change-Id: I206a66e361a3e2eb50bb5fa01ddadae25b4a9f54
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Retire OPNFV user

    Now that networking configuration is stable and we rarely run into
    serial-only access situations, it is safe to retire the OPNFV user.

    While at it, bump Fuel@OPNFV git submodule to pick up minor updates.

    Change-Id: I233e054795592700b7ec7e7031e1c2c9b8cc3450
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Provide access to VM in Standalone context"
  - Provide access to VM in Standalone context

    Add possibility to access VM with SampleVNF image, which is spawned on
    baremetal server using password or key pairs (provided or generated).
    Changes provided for OVS-DPDK and SRIOV cases.

    JIRA: YARDSTICK-1260

    Change-Id: I89cf17dc83f02abe23d206b24b9d0ec1298d3231
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Update git submodules

* Update docs/submodules/releng-xci from branch 'master'
  - [xci] integrate istio in XCI

    using kubespary to deploy the istio, kubespary support to deploy istio

    installer-type:kubespray
    deploy-scenario:k8-nosdn-istio

    Change-Id: Id8c04936187c89fafa921dada382a0e9e11aab27
Signed-off-by: wutianwei <wutianwei1@huawei.com>
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Provide average latency results in IXIA KPIs"
  - Provide average latency results in IXIA KPIs

    IXIA KPIs will provide an average value of all port latency values:
    max, min and avg.

    JIRA: YARDSTICK-1394

    Change-Id: Ib7c7b5300e8343a1af0a20cb4e49c0bd669c1143
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Update git submodules

* Update docs/submodules/releng-xci from branch 'master'
  - Print OpenStack login information at the end

    The info is logged to the console before post-deployment tasks and
    this makes it seeing the deployment status and login info inconvenient.
    This change moves the logging to the end, after post-deployment.

    Change-Id: Ic7e232a0b8343e666f54087fbcc09481ab59ca90
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "Fix tenant interface type"
  - Fix tenant interface type

    JIRA: -

    In setup-openvswitch role, tenant interface
    type is static which will cause failure during
    network restart. Set it to manual instead.

    Change-Id: Id6fdaa2b7fbae9d8a6d243b43ec35868af4c2fdd
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "[stor4nfv] Add os-stor4nfv role for OpenStack deploy"
  - [stor4nfv] Add os-stor4nfv role for OpenStack deploy

    Adds os-stor4nfv role for OpenStack deploy which installs
    OpenSDS and Cindercompatibleapi.

    Disables Cinder service and configures cindercompatibleapi
    to work with 'lvm' backend.

    Adds os-nosdn-stor4nfv-ha scenario file.
    Adds os-nosdn-stor4nfv-noha scenario file.

    Change-Id: Ie4b6a874beb3f61aa2fd08ebc6c97ab737c012ee
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Update git submodules

* Update docs/submodules/stor4nfv from branch 'master'
  - Add openstack test case

    Change-Id: Ib14ffc283dd4226810e2388807971ae97d25e122
Signed-off-by: Qiaowei Ren <qiaowei.ren@intel.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "Fix networking-sfc"
  - Fix networking-sfc

    JIRA: -

    Using networking-sfc 6.0.0.0rc1 to fix package issue

    Change-Id: I29809fd07a38b5cff37b22a99c092db3e8a8f31c
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - CPERF: Fix csit odltools install

    PIP installing odltools attempts to install/update chardet which was
    already managed by yum in the container so need to remove it.

    Change-Id: Id07b76b080ff5b7e77d4c110c90a15018397d039
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: Add SFC to daily

    Change-Id: I51e5ecce1e7e5ef851e3c031aeb7819c0712c72d
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Enable SFC scenarios for Gambia"
  - Enable SFC scenarios for Gambia

      - This patch will install OVS 2.9.2 including
        its kernel module which allows native NSH
        headers.
      - Fix Custom OVS due to bug:
        https://bugzilla.redhat.com/show_bug.cgi?id=1544892
      - Tacker is disable for the time being, tacker-conductor
        needs to be enabled.

    JIRA: APEX-630

    Change-Id: Ia410309fd7053602ce78eae919839d0f57c9742a
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "[fuel, armband] Add os-nosdn-vpp scenarios"
  - [fuel, armband] Add os-nosdn-vpp scenarios

    Added the triggers for both ha and noha versions of the scenario

    Change-Id: Ibba782d82712b69b755592a878fc69bf6696cba7
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Merge "Logging: Enhance logging with separate files and timestamps"
  - Logging: Enhance logging with separate files and timestamps

    This patch adds following:
    1. overall.log file is change to vsperf-overall-timestamp.log files
    2. The overall.log files will include timestamps too.
    3. Separate log files for infrastructure metrics.
    4. All timestamps of the logfiles for a given test will be same.
    5. Store the timestamp in 'LOG_TIMESTAMP'
    6. Create metrics-log only if 'COLLECTOR' is set to 'Collectd'

    JIRA: VSPERF-586

    Change-Id: I35d373a66b1074f6ee1a440ffc82bc3db03f36e7
Signed-off-by: Sridhar K. N. Rao <sridhar.rao@spirent.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Collectd: Additional metrics storing options

    In this patch, following options are added for collectd-metrics storing
    1. Collect all the metrics written by collectd into csv file - a tar.gz
    file is created. The timestamp is retained in the tar.gz file.
    2. Selected metrics are written into a log file.
    3. Fix Pylint errors
    4. Terminate collectd by PID.

    JIRA: VSPERF-588

    Change-Id: Ib4d89d3dd6c622066fa0296b4415515fdca12252
Signed-off-by: Sridhar K. N. Rao <sridhar.rao@spirent.com>

Update git submodules

* Update docs/submodules/auto from branch 'master'
  - Merge "first draft of 3 installers for Auto"
  - first draft of 3 installers for Auto

    JIRA: AUTO-42
    JIRA: AUTO-43
    JIRA: AUTO-46
    JIRA: AUTO-50

    a) Moved 3 scripts (Fuel/MCP, Compass4nfv, Apex/TripleO) from
    Auto Wiki pages to Auto repository. Did some cross-script alignment.
    Host folder in repository is: auto/ci. Abandoned JOID script:
    JOID seems to be unsupported after Fraser.

    b) Further fixes to these scripts can now be done in the Auto
    repository (not in Wiki), and inclusion in Auto CI jobs can also be
    tested.

    c) File names might be revisited, to account for variants: CPU, OS,
    scenario (openstack/kubernetes, HA/NOHA), size configs (vCPUs, RAM),
    etc. Or explore having these parameters as script parameters, maybe
    collapsing all scripts into one, where the installer would also be a
    script parameter.

    d) This batch of scripts is for x86 architectures; future
    versions/additions will cover Arm architectures;

    e1) Fuel/MCP script works (Fuel@x86)

    e2) Compass script works (x86, virtual deploy, NOHA)

    e3) Apex works on 2nd attempt; first attempt still has issues on
    blank servers (due to undocumented initial setup steps, causing
    errors which don't happen on servers where several tools and
    packages have already been installed).
    raised ticket on Apex: https://jira.opnfv.org/browse/APEX-633

    f) scripts all pass the shellcheck tool

    Change-Id: Ib9a393bcc6f94ec8be82d5d2d4c9c194a018c0f7
Signed-off-by: Gerard Damm <gerard.damm@wipro.com>

Update git submodules

* Update docs/submodules/auto from branch 'master'
  - ci: ONAP automated installation

    Script for automated ONAP installation at LAAS servers.

    JIRA: AUTO-49

    Change-Id: I3b2c87d431924a81b86dca7a17226613b422a216
Signed-off-by: Richard Elias <richard.elias@tieto.com>
Signed-off-by: Martin Klozik <martin.klozik@tieto.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge ".gitignore refresh, fold common expressions"
  - .gitignore refresh, fold common expressions

    Change-Id: I5346ee523b40f1a249394d59dbbe4d3d85c692cb
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - [odl/dpdk] Use untagged iface for tenant network

    Change-Id: Id35d4cbee9b4ce0a7b78e2935b03c2def68bc123
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update git submodules

* Update docs/submodules/pharos from branch 'master'
  - Fix trailing spaces issue when generates yml files

    There are some missing coniguration in jinja2 template, which will cause
    the trailing spaces issues. Currently just add some comments in the end.

    Change-Id: I4fe250cda1192d7c6e7cead0251ac5e7978cd310
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>
  - Fail to set the value in multiple lines

    refer to the log of Jenkins:
    https://build.opnfv.org/ci/view/pharos/job/
    validate-pdf-jinja2-templates-master/326/console

    /home/jenkins-ci/opnfv/slave_root/workspace/
    validate-pdf-jinja2-templates-master/config/utils/check-jinja2.sh:
    line 54: -i ./config/installers/apex: No such file or directory

    [GENERATE] [OK]
    [YAMLLINT] [OK] yamllint -s ./config/installers/apex/pod_config.yaml

    Change-Id: I13c220e7fba5355124ae2b41e7399140c5d92523
Signed-off-by: Julien <zhang.jun3g@zte.com.cn>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Temporarily disable shelve

    They are blocking in Orange Openlab as the support is missing.
    A dynamic check has to be implemented before activating it.

    Change-Id: I8d87251fa4589f96d3515e411aeec5e79b7e7960
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
  - Fix fixed_network_name in tempest.conf

    It also copies rally.conf and tempest.log in res_dir.

    Change-Id: Ib907a29ba3f47ca861d3af8afc0ee74446222e89
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "Remove neutron-lib installation for odl"
  - Remove neutron-lib installation for odl

    JIRA: -

    neutron 13.0.0.0rc1 now requires neutron-lib 1.18.0.

    Change-Id: I64c6872761f9dbfd6682fa6dfc096cbd133a4e04
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Add a volume mapping for Bottlenecks

    All results files including the .out files are stored in Yardstick /tmp
    Need to map that with host's /tmp to parse the results.

    JIRA: DOVETAIL-727

    Change-Id: I5a81e6e6bdf79b2e0074df505deb425c37b93300
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Update Releng PTL for Anteater Reports"
  - Update Releng PTL for Anteater Reports

    Ensures Fatih is still listed for the releng-xci repository.

    Change-Id: I4e4d8f474ed35ec07d840e38151956d832fb5692
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: Fix verify blocking with csit

    Make apex verify virtual deployment occur on the same node where
    apex-verify job is running. Block apex-verify from starting if csit
    promote is running.

    Change-Id: I86e76232003b509db516e8d78703d43d36456d14
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Add virtual image generation to install script"
  - Add virtual image generation to install script

    Update install.yaml with image generation: nsb and normal.

    JIRA: YARDSTICK-1198

    Change-Id: I3b8773e9b3b9890ae8623bb6536d05f1151d84a8
Signed-off-by: Stepan Andrushko <stepanx.andrushko@intel.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - u/fuel: Bump & rebase for glance signature and vpp

    Change-Id: I20256794b1ef31410527329e0e4a9a730d93ce03
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "[noha] ctl01: Enable jumbo frames"
  - [noha] ctl01: Enable jumbo frames

    Now that host vnet MTU has been bumped to 9000, we can safely enable
    jumbo frames in ctl01 VM without breaking nova compute discovery.

    JIRA: FUEL-336

    Change-Id: I30bf333c18f3f0de2ce37fc7ae99df9b99f3a5e9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "[deploy.sh] Prefix and export more env vars"
  - [deploy.sh] Prefix and export more env vars

    Upcoming support for containerized Salt Master node requires access
    to certain variables during j2 interpolation, so also export:
    - MCP_STORAGE_DIR;
    - MCP_REPO_ROOT_PATH;

    JIRA: FUEL-383

    Change-Id: I584c0bf8133b5ae6178d97da5b44d345e45a0222
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Improvie TRex RFC2544 throughput calculation"
  - Improvie TRex RFC2544 throughput calculation

    Improve TRex RFC2544 throughput calculation by using the in/out packets
    instead of using the throughput samples.

    JIRA: YARDSTICK-1387

    Change-Id: I877e901c3226d31c6435a877a2924bb95deb1cf0
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "[dovetail] set correct Cinder process name on Apex"
  - [dovetail] set correct Cinder process name on Apex

    In fraser, cinder-api runs as an apache module called cinder_wsgi.

    JIRA: DOVETAIL-690

    Change-Id: I6660e1e17e61c0010295431290d5db20777af0d4
Signed-off-by: Georg Kunz <georg.kunz@ericsson.com>

Update git submodules

* Update docs/submodules/releng-xci from branch 'master'
  - xci: Bump OSA and bifrost SHAs

    This change
    - bumps OSA SHA to cbfdb7dc295ff702044b807336fab067d84a3f20
        (mostly based on Rocky RC1)
    - bumps bifrost SHA to c1c6fb7487d5b967624400623fd35aabf303b917
    - pins Ansible to 2.4.6.0
    - switches to ollivier/functest-healtcheck since OS is bumped to Rocky

    Change-Id: Icc14e3e794b489dafd78b426c54051a3732ccb1a
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>
Signed-off-by: Markos Chandras <mchandras@suse.de>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - [ha][noha] Add vpp scenario placeholder

    - dummy copy of os-nosdn-nofeature-ha masquerading as
    os-nosdn-vpp-ha scenario placeholder
    - dummy copy of os-nosdn-nofeature-noha masquerading as
    os-nosdn-vpp-noha scenario placeholder

    Change-Id: I63a302c98e6e176a480fbc110012ac66749ee88f
Signed-off-by: Cristina Pauna <cristina.pauna@enea.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Convert IXIA latency statistics to integer"
  - Convert IXIA latency statistics to integer

    JIRA: YARDSTICK-1385

    Change-Id: Id50c393da7ded4b3c8e127f7d7a6501832a68446
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Update git submodules

* Update docs/submodules/releng-xci from branch 'master'
  - Update SHA for ODL

    Deployment not working because of a bug. This bug gets fixed with the
    new SHA

    Change-Id: I91c6df6bf7ea10492265466ebdfbf4264492936b
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update git submodules

* Update docs/submodules/edgecloud from branch 'master'
  - Merge "UPF definition corrected"
  - UPF definition corrected

    Change-Id: I7f7a8a6bdd8503d1897f69837a885a6575686db2
Signed-off-by: Gergely Csatari <gergely.csatari@nokia.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Disable selinux option in docker for kolla-build

    Set --selinux-enabled=false in /etc/sysconfig/docker.

    https://build.opnfv.org/ci/job/daisy-kolla-build-master/32/console

    Change-Id: Ib6e94ad4add5f8556294de9542c38e9b074f905a
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Make TRex latency statistics optional"
  - Make TRex latency statistics optional

    Because of performance issues in TRex due to the extra power needed to
    retrieve the latency statistics, this parameter will be optional and disabled
    by default.

    JIRA: YARDSTICK-1388

    Change-Id: I07c0ec7bef86fd438d078cbd6748b98bc8cc0b37
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Turn off glance signatures verification

    Change-Id: I61ee8e19e783437dce7a9ddd666cd60e9d22a2e1
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "NSB NFVi PROX BNG and vPE losing many packets"
  - NSB NFVi PROX BNG and vPE losing many packets

    JIRA: YARDSTICK-1101

    The traffic generated by the generator in bng-4 result in
    non-symmetrical use of the cores on the SUT, as a whole
    range of IP addresses is skipped.

    Update cpe0 and cpe1 in gen files.

    In addition, for the routing table (ipv4.lua) for the BNG
    should be slighly different: while the BNG is a 4 ports
    test, only 2 of the ports are used as outgoing routing
    ports (the inet ports). Hence, the routing table should
    only use the mac of those two ports. The bad configuration
    (using 4 ports) result in an issue when BNG SUT and GEN
    are connected through a switch, packets are sent by the
    BNG SUT through the INET interfaces, but sometimes with
    the MAC of the CPE interface...

    Hence, packets are received on the wrong interface on the
    Gen site (resulting in some interfaces, the CPE ones,
    being overloaded)

    Created ipv4_bng.lua and remove mac 0 and 2

    Change-Id: I97019f0415d2f58d50ec855d04800eb705f41541
Signed-off-by: Daniel Martin Buckley <daniel.m.buckley@intel.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Bottlenecks SSH connectivity broken

    For ping, it set the ssh login username to be ubuntu.
    So need to use ubuntu image rather than cirros.

    JIRA: DOVETAIL-727

    Change-Id: Iaac8c8280a464efe3a431d4eb260c4a0a626e12d
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - [noha] dpdk: Skip creating private vlan iface

    For DPDK scenarios, the private VLAN Linux interface should not
    be created, as it interferes with OVS configuration.

    Change-Id: I7eff6031a7cd5e50296e5d36084d7d50d6f3beae
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/clover from branch 'master'
  - Merge "upgrade istio to 1.0.0"
  - upgrade istio to 1.0.0

    JIRA: CLOVER-84

    we change the env in clover and change some deploy script.
    will upgrade the doc later

    Change-Id: I73a78afb91676efc3278b623c5d263a4a215ccd9
Signed-off-by: Ace Lee <liyin11@huawei.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Change the owner of created image dir

    The directory created by SUDO cannot be cleaned by jenkins.

    https://build.opnfv.org/ci/job/daisy-kolla-build-master/31/

    Change-Id: I02f11d72a80e173f7fef9d3b875f95c2d7b4f626
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "[stor4nfv] Changes to k8s scenarios"
  - [stor4nfv] Changes to k8s scenarios

    Makes a few changes to 'stor4nfv' role to accommodate Stor4nfv repo changes.

    Change-Id: I1b7d190e4308a2394f90012767c08990e1354e6d
Signed-off-by: ramamani yeleswarapu <ramamani.yeleswarapu@intel.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "the recovery action of "baremetal down" should be triggered mandatory"
  - the recovery action of "baremetal down" should be triggered mandatory

    YARDSTICK-1222 has made attacker recover only when the sla not pass.
    But for baremetal down test case, the node need to power on even the sla pass.

    TODO:
    Make attacker can support mandatory recover in some situation.

    JIRA: YARDSTICK-1337

    Change-Id: Ib567b9b9025e5ee421ea47140c468537ad16f090
Signed-off-by: rexlee8776 <limingjiang@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - CPERF: Add CSIT top level suite name arg

    Change-Id: I9b6dd3887c84ab035284400b8d3912fb691f1975
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Fixes unit test failures

    Adds mocking some file opens introduced by:
    https://gerrit.opnfv.org/gerrit/#/c/60991/

    Change-Id: I013b9c96a7c3f678c6e227f98cd58f9547d79ecb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - CPERF: Install ODL tools and log

    Adds pip installing odltools into the cperf container. CSIT jobs now
    fetch ODL and other OS logs via apex.

    Change-Id: I532d3a6fed156709cb305a9f7a6721d1db2eaebc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Apex: Add nosdn ipv6 to daily"
  - Apex: Add nosdn ipv6 to daily

    Adds ipv6 nosdn scenario to daily. Also includes a fix where the
    trailing new line in the template would be removed and fail jjb check in
    jenkins.

    Change-Id: I928f7b1cf12381cb2af3a8c7e4beb8e8014451c9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - releng-macros: Update & adopt email-fuel-ptl

    Change-Id: I24cc328cdefcd7ac5f34292f0cf1635f797f8f00
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - ci/download_images.sh: Reduce wget dot reporting

    Downloading large images outputs a lot of useless dots to show
    progress. Switch to 1M per dot (from 1K).

    Change-Id: I00e3d09ef28e7722798eeadc27649a96398aac32
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Add Nova migration params to upstream env file"
  - Add Nova migration params to upstream env file

    JIRA: APEX-635

    Change-Id: I488dd5d9b114aba5f4bb4591a0cdd8c19b692ce9
Signed-off-by: Ricardo Noriega <rnoriega@redhat.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Define missing interface MTU for ODL node

    Change-Id: Ib442f98b2601800360bc9b4ec01da892b50e7f1a
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Fix RFC2544 IXIA latency information

    Do not overwrite the samples information with the latency parameters.

    JIRA: YARDSTICK-1385

    Change-Id: I2f144800ad19d7736eedf5c7b6783731031c4bf4
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Publish Functest daily and gate jobs

    As opposed to the Releng ones, they are designed to be easily
    executed by endusers as well. They can be considered as a first step
    towards a full Functest CI/CD toolchain deployed via docker-compose.

    All components testcases are enabled here.

    They hugely leverage on templates to load the right yamls per branch
    and multijobs to run testcases in parallel. Many steps are proposed
    allowing running part of the chain.

    Executors have to be increased to allow running them (it was tested
    vs 10 and more).

    At first, all docker images are downloaded to avoid different
    versions between testcases.

    They will be improved in a second change to ensure that only one node
    is selected and to take all Functest env vars into account.

    Change-Id: I99c7b8ee5d0ddbb00102b3147739b5e8b5c65c23
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
  - Add vgpu in global testcases.yaml

    It completes the patch introducing vgpu [1].

    [1] https://gerrit.opnfv.org/gerrit/#/c/60713/

    Change-Id: Ib2a22dd656d365e87a37a239f0a0ee747c95b117
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
  - Typos (ressources)

    Change-Id: Ifcf1d4bd48b64bc9175c3b0d594f897f4f3f5e7d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
  - Update Xtesting to 0.58.0

    It returns the right status if exception in constructor.

    Change-Id: I163c0cbb2e1f07b2ada4a5ba28e217906946fa2c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Rename ovp.next to be ovp.2018.08

    Change-Id: I32aaee370512c3d7c8d6e1fbb6ef25aebc5d483f
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/clover from branch 'master'
  - Merge "Implement initial clover-controller service"
  - Implement initial clover-controller service

    - First pass of clover-controller which resides within the k8s
    cluster and provides interfaces to all Clover services
    - Only service that should need to be exposed outside of
    cluster
    - Docker build of container that uses stack of nginx, gunicorn
    and flask to provide REST interface
    - REST interface is intended to serve cloverctl CLI and
    dashboard browser UI
    - Implements GRPC messaging to clover-collector and snort
    - GRPC interfaces files for snort/nginx are added to
    container from repo. Collector GRPC files will be removed
    from controller/control/api once patch below is merged
    https://gerrit.opnfv.org/gerrit/#/c/57245/ and added
    similarly
    - Provides first pass callback for file upload from
    clover-server.
    - Some REST messages implement JSON for passing params
    to internal services
    - Redis interface added to obtain data from services.
    Currently, a simple interface to retrieve snort event
    information
    - YAML manifest renderer to add to k8s. Uses NodePort
    service currently, defaulting to port 32044.

    - Removed collector gRPC interface files with merge of collector
    - Expose tracing and monitoring host/port parameters, as these vary
    depending on Istio version and Jaeger version
    - Add logging to flask blueprints
    - Added jmeter blueprint interface with REST for
    testplan generation, start test and result retrieval
    - Added flask Response to REST reply messages
    - Retrieve some basic stats from collector in json
    response

    Change-Id: I59eaeb860445ade4b45bba22747a61fb0cf0bbd4
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Update git submodules

* Update docs/submodules/clover from branch 'master'
  - Merge "Implement initial cloverctl CLI tool"
  - Implement initial cloverctl CLI tool

    - Uses client-go package to interface to k8s API and implement
    functions as cloverkube package.
    - Identifies GKE LB IP for clover-controller for user
    - Identifies NodePort port number for clover-controller for user
    if environment is local k8s (assumes flannel CNI currently)
    - Deploys and deletes clover-collector and clover-controller with
    native client-go constructs (currently images are defined with
    local registry). Future work will implement other clover services
    and Istio components. Uses the clover-system namespace.
    - Uses Cobra go package to implement CLI (used in kubectl and
    istioctl) using cloverctl <verb> <noun> convention.
    - Interfaces to clover-controller to configure clover services
    (visibility, IDS ...) within the cluster via REST messaging
    - Start visibility (collector) engine using input yaml file or
    defaults
    - Init, stop and clear (truncate Cassandra tables) visibility
    engine or get basic stats.
    - Add custom rules to IDS from input yaml file and start/stop
    IDS
    - Generate jmeter testplan on jmeter-master using input yaml
    file. Start tests and output log/results from CLI.
    - Specify number of jmeter slaves to initiate tests on from
    CLI. Automatically find IP addresses of jmeter slaves within
    the k8s cluster.
    - Sample yaml files for adding IDS rules, starting visibility
    engine and generating jmeter test plans.
    - Build script to install go and get dependent packages.
    - Implement a custom Istio inject package for manual sidecar
    injection (cloverinject). Currently, unused as it is built from
    Istio 0.8.0/1.0.0 code base.

    Change-Id: Ibb8d08cb98267bdffb8905c221473f177d51bbb3
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Update git submodules

* Update docs/submodules/clover from branch 'master'
  - Merge "Implement initial Jmeter master/slave containers"
  - Implement initial Jmeter master/slave containers

    - Jmeter can be used for L4-7 functional and performance testing
    - Jmeter master has gRPC server for management
    - Generates Jmeter test plans from minimal yaml params file
    (sample to be added with cloverctl) using template
    - Optionally span tests across slave containers to allow greater
    loads to be generated
    - Specify loop/thread/slave count and URL list, which
    dictates target and number of connections that will be attempted
    - clover-controller will interface to gRPC interface on Jmeter
    master
    - Start tests on master and retrieve log/result files
    - Render master and slave k8s manifests files

    Change-Id: Id144c8f551b7d375ff252c8de0611f895b50387c
Signed-off-by: Eddie Arrage <eddie.arrage@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Split modules in apidoc

    Change-Id: Iff2bd9377efb4e8abde35ef3fc38aca120feccaf
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Fix rtd requirement order

    Change-Id: Ie2fbd978ed0bb9772d66eb367f1bdad32c5afd61
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Add rtd-requirements

    It's required by rtd which doesn't leverage on PBR.

    Change-Id: Ia7ac5ecbb626d5c8b4c9095a1238db55e20790b0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Generate API doc rst files

    It also fixes few docstrings

    Change-Id: I10bae7b7fab40edd931dd55ab8859946e3b38a71
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
  - Publish Functest doc online

    It reverts Sphinx theme to the default one as it's hugely better for
    API docs.

    Change-Id: Ic489e9b65d67d71fadb8ef78176a04cc382a3f5d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "Download OpenStack git repo from local server for CI"
  - Download OpenStack git repo from local server for CI

    JIRA: COMPASS-614

    Online git clone is heavily affected by the network
    condition of huawei lab. Download OpenStack git repo
    from local server to regain stability

    Change-Id: I92886b9c65068294f303d27de1b3b0261442af34
Signed-off-by: Harry Huang <huangxiangyu5@huawei.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Drop obsolete bootstrap-salt.sh workarounds

    JIRA: ARMBAND-399

    [1] https://github.com/saltstack/salt-bootstrap/pull/1251

    Change-Id: Id3dccf6ae85e105f5e03eae69028da772954318c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "[AArch64] VCP VMs: Switch back to 4.4.x LTS kernel"
  - [AArch64] VCP VMs: Switch back to 4.4.x LTS kernel

    JIRA: ARMBAND-398

    Change-Id: I329346755348525f00602d7f89af295c141a20d5
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - [scripts] Leverage upstream arm64 bootstrap supp

    bootstrap-salt.sh now has arm64 support [1], so drop our obsoleted
    workaround.

    JIRA: ARMBAND-399

    [1] https://github.com/saltstack/salt-bootstrap/pull/1251

    Change-Id: I8b06520b2c41564ed2eda338e7633ce1637bb866
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Fix ipv6 deployment failures

    - fix ipv6 enable command on bridge interfaces
    - fix external subnet creation command
    - enable NAT when admin is ipv4
    - fix network settings file for ipv6 for br-ex interface type

    Change-Id: Ibd2dbe1d0c8e8df72ad1b0b3713a19f8bbc56eef
Signed-off-by: Feng Pan <fpan@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Build arm images and publish manifests"
  - Build arm images and publish manifests

    It mainly follows the Functest docker jjb.

    Change-Id: Ia86082cfd5d2f19496e7801441e005ffc88595a3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "[reclass] Set banner_company_name: OPNFV"
  - [reclass] Set banner_company_name: OPNFV

    Change-Id: I493fd49cb2b4bcd976873cd9297de3f90a74acf1
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Switch VCP VMs back to 4.4-based LTS krn

    JIRA: ARMBAND-398

    Change-Id: I1b006734675c9cc0d30d5b50cf7c36f53e890370
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - CPERF: Update master CSIT ODL to neon

    Change-Id: I3e13635f2753c47cda567516b6194ad1b821d14b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/pharos from branch 'master'
  - Merge "Add mask to the oob networks"
  - Add mask to the oob networks

    It is not needed but it helps a lot to the xci parser

    Change-Id: I6943b21cd2aca2036783430cde03fb8d3b567f3b
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update git submodules

* Update docs/submodules/pharos from branch 'master'
  - Update the pdf/idf for ericsson pod2

    Change-Id: I9b5db404cde0414f34621cf12819fd3edfcf0414
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: update ODL master to be neon

    This is for downloading the ODL artifact
    from an ODL gerrit.

    Change-Id: I8138f2d84fb85ed7c8cc74e956ed277dfdb5fc1f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: Wildcard gerrit trigger for CSIT

    This will allow us to trigger OPNFV CSIT on non-netvirt projects.

    Change-Id: I95991e3f574ffa4f4e63ca22697089c7ba2ab7ca
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: Update snapshot detection

    Detection now allows for allinone types.

    Change-Id: I61d0e22bd3c940c509917db820281dab1a5fc66f
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: Allow CSIT for any ODL project

    Instead of just netvirt, enable other ODL projects to trigger OPNFV
    CSIT.

    Change-Id: Ia394ed084108c44d68317b7e38cfb43d090ca784
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/pharos from branch 'master'
  - Complete osa and add kubespray to the idf schema

    Modify idf of lf pod4 to aoid -1 from Jenkins

    Change-Id: I4fbac6ed2859e79aeef61b070498833b182f2b5d
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update git submodules

* Update docs/submodules/storperf from branch 'master'
  - Fix 3rd_party link in reporting

    Updates links to 3rd party resources in
    reporting module. This fixes graphs not
    being generated.

    Change-Id: I8bdb37f3b6948bc2fd09a8cf3d0b0f1588cafaf0
    JIRA: STORPERF-258
Signed-off-by: Shrenik <shrenik.jain@research.iiit.ac.in>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "[noha] Parameterize network configuration"
  - [noha] Parameterize network configuration

    - odl01: Use a bridge for br-ctl to allow tagged mgmt;
    - ctl01: Use bridges for br-ctl, br-ext;
    - ctl01: Use mtu 1500 since jumbo frames seems to break nova cell
      discovery;

    JIRA: FUEL-382

    Change-Id: I9bf48711930cac77a089e4d7b7ba98924dd161ee
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Update refstack test version to 2018.02

    To conform with Openstack Queens

    Change-Id: I7d65a1d7fe7c9a30e2c00a8a0eac2ab3fe1b9428
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Clean /etc/rally.conf

    Else rally_sanity may print logs in tempest_smoke res dir.

    Change-Id: Iae97d533e9b99dcf8da70229b0675228472bfe52
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
  - Update restack defcore sync

    It stops depending on refstack_client which cannot work till
    OpenStack Queens.

    JIRA: FUNCTEST-977

    Change-Id: I2340643de82ab10d8fb83fb3a7fbfd1f412b2d7b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Improve IXIA TG Rx/TX throughput calculation"
  - Improve IXIA TG Rx/TX throughput calculation

    Use float instead of integer to convert TG throughtput
    IXIA statistic.

    JIRA: YARDSTICK-1378

    Change-Id: I39bd143adc4b10035c6f0986a06d407a18aa0887
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Add RFC2544 IXIA latency information

    JIRA: YARDSTICK-1385

    Change-Id: Icecceaabc0389279a3a7154884c50259f794eb76
Signed-off-by: Rodolfo Alonso Hernandez <rodolfo.alonso.hernandez@intel.com>

Update git submodules

* Update docs/submodules/nfvbench from branch 'master'
  - Merge "Auto Generated INFO.yaml file"
  - Auto Generated INFO.yaml file

    INFO.yaml meant to be machine readable.
    This file was auto generated from an ldap lookup
    and your projects INFO file.

    Meeting times are not currently filled out.
    please ammend this patchset to complete

    Going forward comitter promotions should be done
    against this file.

    PTLs:
    Must be merged for you to gain delete access on
    testresults.opnfv.org

    If project_lead: is missing (my script could not parse)
    please amend with same from commiters section eg:

    project_lead: &opnfv_dovetail_ptl
        name: 'Lead Name'
        email: 'lead email'
        id: 'lead lfid'
        company: 'lead company'

    Change-Id: I0c3d6335addcc0d40ee09e9d34880f698f41b5c5
Signed-off-by: agardner <agardner@linuxfoundation.org>

Update git submodules

* Update docs/submodules/parser from branch 'master'
  - Merge "Add CLI in verigraph."
  - Add CLI in verigraph.

    JIRA: PARSER-180

    Add CLI to select one of the available interfaces (i.e. REST or gRPC), one of the supported service descriptor formats (i.e. TOSCA/XML, TOSCA/YAML, JSON),
    and the operations to perform (i.e. read, create, update, delete graphs and run verifications).

    Change-Id: I02f4d86e221baf0ac583d0ffd0ebe028aa6209be
Signed-off-by: serena.spinoso <serena.spinoso@polito.it>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - CPERF: Add clean up to CSIT

    Now that we promote Apex artifacts after running CSIT, the snapshots
    will be tainted with the flavor and image used during the CSIT test. We
    should remove those after running CSIT as it may conflict with other
    test suites or user interaction with the snapshots later.

    Change-Id: I874ef145f9df20a9d1471e38698549cbe58dea43
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/storperf from branch 'master'
  - Fixing series data.

    Changes the min and max series to also contain the
    index to make plotting easier.

    Change-Id: Ifbb43658338d6389705e7f146fa1ca6e13c202ce
Signed-off-by: mbeierl <mark.beierl@dell.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - u/fuel: Bump & rebase for barbican compute fix

    Change-Id: Ia06dad8fe1511448750a37543f99841a02cf1c1d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "Fix barbican integration on compute nodes"
  - Fix barbican integration on compute nodes

    Locally overwriting barbican_integration_enable
    on compute nodes does not work.
    Set barbican_integration_enable to true by default.
    Disable barbican_integration at openstack_control side.
    While at it, enable barbican on ha scenarios too.

    JIRA: FUNCTEST-981

    Change-Id: I3c8df5d4078f73f32f3605dec5a7a365fa386019
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - CPERF: CSIT hardcode OPENSTACK_TOPO

    CSIT has static topologies that it supports, so even if we
    have more nodes we need to conform to the CSIT input.

    Change-Id: Id8647afaccbbf145dbf938b097ac49b92ce876f8
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "IXIA traffic stops running after first iteration"
  - IXIA traffic stops running after first iteration

    IXIA traffic stops running after first iteration when
    traffic profile duration is set to 60 sec.

    JIRA: YARDSTICK-1374

    Change-Id: I216b98d43b66aabc72ed88e895b89e28572b264f
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>
Signed-off-by: Myron Sosyak <myronx.sosyak@intel.com>

Update git submodules

* Update docs/submodules/storperf from branch 'master'
  - Fixing Suprious Exception

    When the results are too small to calculate
    the slope, an exception is reported in the
    logs.  This change avoids triggering the
    exception criteria.

    Change-Id: Iae886cde6244e9077ff94812bd830c48adaef365
Signed-off-by: mbeierl <mark.beierl@dell.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - u/fuel: Bump & rebase for default apache ports

    Change-Id: I9a1ab245a50242d2b3eecfa82fd9c272953aa6d8
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Disk Initialization and Custom Workload"
  - Disk Initialization and Custom Workload

    Removes the deprecated nowarm and nosdd parameters from the
    call to StorPerf.

    Adds a call to initialize the disk right after the stack
    creation is complete so that the results from the
    performance run are valid and not skewed by a disk that
    is not operating at a consistent level of performance.

    Adds the jobs API v2.0 when the custom parameter 'workloads'
    is used instead of workload.

    Improves documentation and adds more info about the
    workload and workloads parameters.

Co-Authored-By: Ameed Ashour <Ameed.Ashour.Ext@nokia.com>
    Change-Id: I17e96028f6a82e2c800c8f73c7be866e1cab6ad8
    JIRA: YARDSTICK-1322
Signed-off-by: mbeierl <mark.beierl@dell.com>