Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add user guide about install from source code

    Change-Id: Ieb4bbada9cd6375f4583a7cdc4ad7d995d2b6780
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Allow executing benchmark under non-root user

    Change-Id: I62b242c9a2e90cc6c0c6c5ca181356690e18b59b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/doctor from branch 'master'
  - Merge "Change role of doctor user to _member_"
  - Change role of doctor user to _member_

    Change role of doctor user to _member_
    Do needful changes to API calls
    Add admin a role to project
    Add Fuel support

    JIRA: DOCTOR-80

    Change-Id: Ic7f88b9ceb6c4fc90e5e985ecfbc50c907b2367e
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Revert "Merge workspace files into one folder"

    This reverts commit e6da6749be6e5143855a48c866de2cd03789d2e8.

    Change-Id: Ieac19a1526e7a5515923b8258079af3a1faaa56b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "bugfix: regex node role"
  - bugfix: regex node role

    In NEC pod based with apex, node role is incorrectly regexed.

    Change-Id: I90d5eb92e6eec4abf850137f50ffc4df02257615
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - miss dependencies for ubuntu

    Change-Id: Id97daffbb0ce97ad4248934192f8f574deac7446
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add developer guide for framework

    Change-Id: Iff4a45847ef12320afd3e64acfe32152e6ca0595
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add user guide for using ansible-playbook to run QTIP benchmarks

    Change-Id: Ic04f83d91447944ed0fa507d6fffeed0a18b65fe
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add support for reporting to testapi

    Change-Id: If363e7e5d14bdd6a1a12a553a2f162be3c23f530
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add support for result aggregation

    Change-Id: I678b765f3f430cb6a5d130d94960273b8eea85e7
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Include memory metrics to calculation

    Change-Id: Iaf67cc53d7c95a4f3527000e479936a57a4c41cc
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge workspace files into one folder

    Change-Id: Ie8d0e8fdd6d6c212701ba1ee10b1d05da1ccca22
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add dpi metrics to calculation

    Change-Id: I4ae05af6e8c29d94b2b3f3b4dd748c4325dfa410
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - Generating a kvmfornfv rpm for Apex installer with the same commit
    ID used in Fuel@opnfv Danube release 1.

    Upstream status: N/A

    Change-Id: I27664f0d40530aa1ea6825ca79ca9adbb3c35c31
Signed-off-by: davidjchou <david.j.chou@intel.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Logger must be a singleton

    It avoids creating a python object for every message printed.

    Change-Id: Ia42b59db9f7ce4eadc7e91da4d193db646b54d85
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - Cleanup: Remove patches that landed upstream

    Change-Id: Ib2f96ec70d0b589741484f7e3f3b537a269785fe
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "skip ha tc002 and tc012"
  - skip ha tc002 and tc012

    since these two testcases will kill the host and can't restart
    not ready yet, skip.

    Change-Id: Icbc7e4f080d32d1ecb59df9fd95cb244d74e4cde
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - add function to delete existing netw

    Change-Id: Ib2b61aa1c61557beb6b879cc879e57235aced866
Signed-off-by: Blaisonneau David <david.blaisonneau@orange.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "Print out error message of docker commands"
  - Print out error message of docker commands

    This print out error message of docker commands to find out the
    reason of error like[1]

    [1] https://build.opnfv.org/ci/job/daisy-build-daily-master/239/consoleFull

    Change-Id: Ic1bd85d999dbe584764bc9a05d22579835e55516
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - add fabric generation function

    Change-Id: Ia15c7053294f84a35ae6d1af3bd5efef03bbb79f
Signed-off-by: Blaisonneau David <david.blaisonneau@orange.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - modify the maas to use the interface name as per yaml file

    Change-Id: I6a060757a39786c073c2567ca73502267d8c271b
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Added support for Glance v2

    Updated copyright date on new and edited files to current year.

    JIRA: SNAPS-66

    Change-Id: I491157d6ced8bd9322f99272fc14e00168faaf29
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "Update the kvm4nfv git commit"
  - Update the kvm4nfv git commit

    Update the kvm4nfv git commit_id to latest kernel, so that it includes
    the patch for the bxn driver changes.

    Change-Id: I63e58de24d5f993868b6046eb1b93c9e61c9668f
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Committing the test case requirements specification to GIT for committer review.

    This doucment needs to be +2'd by the majority of committers prior to merging
    to ensure we are all in agreement with regard to the test case requirements.
    This is a pre-requisite to test case selection for the CVP.

    Updated by dneary 2017-04-25: List formatting, and reorganising requirements for installer and stack composition.

    Change-Id: Iabaf11bc9479a20a58f985233d460013e4690d7c
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Fix for reap.py giving negative id's for nodes

    Sort node id's as integer values instead of strings
    in order to return the actual minimum value
    by which the new list of nodes is generated

    JIRA: https://jira.opnfv.org/browse/FUEL-208

    Change-Id: If59d0d0ff9823076b337b042bceb4a736f1f9153
Signed-off-by: Catalina Focsa <catalina.focsa@enea.com>

Update git submodules

* Update docs/submodules/doctor from branch 'master'
  - add framework and tox

    JIRA: DOCTOR-93

    Change-Id: Ife3255c4fe2d170c5d1b8354aaab24d5b1e3bc64
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Fix false positives in test_tempest

    It fixes the return values and the side effects expected from the next
    methods:
      - configure_tempest
      - create_tempest_resources
      - generate_test_list
      - apply_tempest_blacklist
      - run_verifier_tests
      - parse_verifier_result

    JIRA: FUNCTEST-803

    Change-Id: Ib7dbd28e003cf0f27f497ad8e63cf7ae5ce564de
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Catch os.makedirs() exceptions in tempest.py

    It can raise an error exception if the leaf directory already exists or
    cannot be created [1].

    [1] https://docs.python.org/2/library/os.html

    JIRA: FUNCTEST-804

    Change-Id: Ie410bccf1bb2dfd36df6e918c152ecf94844b5d7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Manage criteria in TestCase

    It converts all criteria values to the corresponding percent in
    functest/ci/testcases.yaml.

    Result is expected to be equal or greater than criteria. If both are 0,
    result is considered as false.

    It is compatible with the old behavior but warns to update.
    It will allow a safer remove.

    It also fixes a bug in test_tempest to allow merging [1] and
    tier_handler.py which required that type criteria was str.

    [1] https://gerrit.opnfv.org/gerrit/#/c/27949/

    Change-Id: Ib6edcfa3103b7d51b0bdc83119f1cea2a8be9fbc
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Switch TestCase attribute criteria to result

    It mainly avoids mixing input and output.
    Criteria is now an input set in functest/ci/testcases.yaml and then
    must be passed as __init__() args (which will be proposed in an
    additional change).

    Then it also renames the related TestCase method to
    check_result().

    Change-Id: Ifc3c8e3ea6cde7e3edf7174bed4bf2bf0894e8e3
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "JIRA: DOVETAIL-352 Updating the test specification document with iterative inprovements."
  - JIRA: DOVETAIL-352 Updating the test specification document with iterative inprovements.

    JIRA tasks are being created for specific sections of the document.
    Refer to the doc for links to relevant JIRA tasks.

    Change-Id: I1717d56b8817c38802a227db320f30029f68fbd0
Signed-off-by: ChristopherPrice <christopher.price@ericsson.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "Bugfix: All HA testcases are SSH timeout in CI jobs"
  - Bugfix: All HA testcases are SSH timeout in CI jobs

    JIRA: DOVETAIL-405

    1. All HA test cases running in CI are SSH timeout.
    2. The reason is that HA test cases need a file pod.yaml providing the info of
       each node of Openstack.
    3. This pod.yaml should be put in $DOVETAIL_HOME/dovetail/userconfig by users.
    4. Dovetail's CI jobs should also do some adaptions. JIRA: DOVETAIL-407
    5. modify file .gitignore to ignore directories results/ and userconfig/.

    Change-Id: I5c681445ec83c9d67a0151370f5b56840ffe444c
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Remove the useless opnfv_tests dir in tests"
  - Remove the useless opnfv_tests dir in tests

    Change-Id: I41a8db181adf6c0c67b9de8380c3ccdd1ad3b529
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/parser from branch 'master'
  - fix the command of testr

    Change-Id: Ie85940e7c3a755f6506eb75fa1bae286c4b038ca
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - adding the snapd install before running snap command

    Change-Id: Ie29fef16a3552c0f62b446481704ba07ea189aa2
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "AArch64 Dovetail docker creation job"
  - AArch64 Dovetail docker creation job

    Add support for creating and pulling Dovetail docker container
    for aarch64 platform

    Change-Id: I1e6f2b677e4c972cd80ad2c6f2cd304f0d4d8cad
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "AArch64 support for Dovetail docker"
  - AArch64 support for Dovetail docker

    Add aarch64 patch for Dovetail docker file;
    The patch should be applied from releng

    Move to Ubuntu 16.04 in order, since docker.io package was not
    available for arm on Ubuntu 14.04.
    Added "pip install -U setuptools", since installation of other
    components failed because setuptools was missing.

    Change-Id: If00346d89c48be86c6d9b830f75c1792c39d6bb3
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Bugfix: KeyError when tempest_custom runs wrong

    JIRA: DOVETAIL-406

    1. When there are something wrong with the test case tempest_custom,
       it's details json data are "details": {}, So it will throw KeyError
       exception in this situation.
    2. Catch this exception and set all sub_testcases FAIL.
    3. Disable the exceed_max_retry_times().

    Change-Id: I6bdfc5944a535625b2211a3bd8096a13b81b339e
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Update virtualenv installation step in userguide"
  - Update virtualenv installation step in userguide

    Change-Id: I0b3e8f22b6878c3b2cf1a54f3c39f2888406c508
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fixes iso verify

    Change-Id: Id22995b49d12fdb2a5d5d7532d1459f3ac4338f2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - xena_duration_fix: Revert xena continuous to port time limits

    Revert xena continuous traffic to port based time limits as
    packet limits have an uppers bounds which could be reached
    with small packet sizes and longer durations.

    JIRA: VSPERF-507

    Change-Id: I56986159643344f7872e311590f7d05ac02b038b
Signed-off-by: Christian Trautman <ctrautma@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - xci: Ensure ansible is bootstrapped as last step

    Role requirements file is used during ansible bootstrap on opnfv
    host so we must ensure the right ansible role requirements is there
    in advance.

    Change-Id: I2c5a1edd82a51cbbe1469c31f37b5d638d32ec27
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Organize common tasks under qtip-common role

    Change-Id: I8592efdac7e6c2161eb7cb1b36d023697ebe7ad4
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Rewrite `export_to_file` as decorator

    Change-Id: Ibf852038fac986801a3fc2c608a0ddb1572abbde
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add ssl aes metrics in qpi calculation

    Change-Id: Id568aa3942849e105ca24892babff2acaec21121
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Prompt for variables required for creating workspace

    Change-Id: I9fa48ebcb8433cbc2f8101e59a285d50b0497273
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Export collected metrics to json as inputs for calculating

    Change-Id: Id2dce1e750f646aeb972221229556fcd647a3637
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Support running collect stage only

    - add `always` tag to tasks required for all stages
    - apply `setup`, `collect` and `run` tag to each stage

    Change-Id: I806ec1add08bb18cb5b2848c78a039ed8a38c8ff
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - modify daisy.conf sleep long for trustme modify cpumode

    1.add multicast flag in daisy.conf
    2.sleep40 for trustme.sh execute ok
    3.modify cpu mode of xml file to make it much more general
    4.fix check_openstack_progress parameter error

    Change-Id: Ic150698ede448b7651e95d129aeb7d97a8f34309
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - xci: Always use pinned versions of openstack-ansible-requirements

    Pinned versions used to be used only if XCI_LOOP == 'daily', but it
    seems to be required, otherwise this is very likely to fail

    Change-Id: I21f638bba75846a58b12373a903d414fa89b4bc6
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Bugfix: Make tc019 abd tc025 accept --task-args options to change pod.yaml

    JIRA: YARDSTICK-628

    Change-Id: I7d1b84232a7477a2854ef1625cc63521999eff65
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - tempest test case failed in Functest smoke

    JIRA: COMPASS-545

    1. LVMISCSIDriver has been removed but LVMVolumeDriver is what actually exists.
    Updating the LVM driver name in cinder.conf will solve this.

    2. Add tgt to cinder-volume's service list

    3. Add section of ceph in cinder.conf for cinder backend

    4. Add enable_backends in cinder.conf

    Change-Id: I477d2b17ce9e10871a7b96c1a98a49506b36a6ef
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Remove useless lines of code in barometer.py

    Change-Id: Ie312dbd296a85a35096294331c28a45f8dc10d0c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - modfied to install kubectl snap and create softlink to run the
    command

    Change-Id: I3a89247eb0307ab25ce8b9106c8d26c272b46195
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "ignore the git history in daisy building job"
  - ignore the git history in daisy building job

    Now the daisycloud-core is a big repo because there are some big files
    in the git history. Use "--depth 1" to reduce the amount to download.

    Change-Id: I8ce0dc6675d2239a126bcf558300f1ad45cd3fb3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Unify the kolla config in py

    put the kolla nova-compute.conf file  update handle to prepare/
    execute.py for unify the all relate kolla config in py way.

    Change-Id: Iac585df97d2855038a83f9bfdadfb9e449660c9c
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Update git submodules

* Update docs/submodules/bottlenecks from branch 'master'
  - Merge "Add more information to Table for stress ping"
  - Add more information to Table for stress ping

    JIRA: BOTTLENECK-164

    Table for stress ping is showing results categories for different number of users.
    It does not show the results for every testing round, just show uniquely
    testing round with different success rates.
    This patch is to make sure showing every results.

    Change-Id: I3a33164024e3da23de31d546767f0fb29952983d
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fix iso verify

    Change-Id: Ia1d6da64fa245407c5c71f7a56bb6d372fb11ebc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "[tacker] Adjust tackerc to v3 of identity api"
  - [tacker] Adjust tackerc to v3 of identity api

    JIRA: FUEL-267
    Change-Id: Ia0e9ed3298681319c870132628d930175e084bc0
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Fix package missing on debian hosts

    Change-Id: I4cc5c78f1b33f17234bbcf4864b01c550dc0e487
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - Merge "bnx2x: allow adding VLANs while interface is down"
  - bnx2x: allow adding VLANs while interface is down

BugLink: http://bugs.launchpad.net/bugs/1616107
    Since implementing VLAN filtering in commit 05cc5a39ddb74
    ("bnx2x: add vlan filtering offload") bnx2x refuses to add a VLAN while
    the interface is down:

      # ip link add link enp3s0f0 enp3s0f0_10 type vlan id 10
      RTNETLINK answers: Bad address

    and in dmesg (with bnx2x.debug=0x20):
      bnx2x: [bnx2x_vlan_rx_add_vid:12941(enp3s0f0)]Ignoring VLAN
      configuration the interface is down

    Other drivers have no problem with this.
    Fix this peculiar behavior in the following way:
     - Accept requests to add/kill VID regardless of the device state.
       Maintain the requested list of VIDs in the bp->vlan_reg list.
     - If the device is up, try to configure the VID list into the hardware.
       If we run out of VLAN credits or encounter a failure configuring an
       entry, fall back to accepting all VLANs.
       If we successfully configure all entries from the list, turn the
       fallback off.
     - Use the same code for reconfiguring VLANs during NIC load.

    Have to change the signed-off-by line to avoid spam to original people.

    S1gned off by: Michal Schmidt <mschmidt@redhat.com>
    @cked: Yuval Mintz <Yuval.Mintz@qlogic.com>
    S1gned off by: David S. Miller <davem@davemloft.net>
    (cherry picked from commit a02cc9d3cc9f98905df214d4a57e5918473260ea)
    S1gned off by: Tim Gardner <tim.gardner@canonical.com>
    @cked: Seth Forshee <seth.forshee@canonical.com>
    S1gned off by: Luis Henriques <luis.henriques@canonical.com>

    Upstream status: Backport

    Change-Id: Ibcc668daf4815bc984e2611d8c08856a0a7973f1
Backport-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "skip ha and rename tempest.conf"
  - skip ha and rename tempest.conf

    1) ha testcases need node configure file, skip it temporarily
    2) tempest.conf-->refstack_tempest.conf, then it will not covered
       by other tempest testcases, can used for users to debug

    Change-Id: Ieb7101d8c406e294755629fd11a686f90b6c0a7f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Collect arithmetic metrics from unixbench

    Change-Id: I3e9ca649f3b35908c162d5036dcde3a333278f6d
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Save logs before collecting

    Change-Id: I0e39103ef917fa7ea86d5c47de0cc71c37fca74c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Unify workdir

    - use role variable `workdir`
    - download dependencies to remote workdir with checksum

    Change-Id: I2a7991e014e365fec532520c2b57a3fe480914d8
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Cleanup metrics report

    Change-Id: I79b56d7490930db171fe93e314be4f6d73b0063b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add support for render a justified output from list and dict

    Change-Id: I4411e62b3d1a067cfa8ae1296cf521877aedb830
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Organize **all** tasks into ansible role `qtip`

    Change-Id: I5d3852d2a31e9c4043191377e5cb7d539d222a8c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - Merge "dpdk stats: add known issues/limitations"
  - dpdk stats: add known issues/limitations

    Change-Id: I8dbd43002f50e65df40cc8bfb516c40f995b9679
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Bugfix about the ipv6 results checker

    JIRA: DOVETAIL-404

    1. IPV6 sub-testcase's name includes [id], which will affects the regex.
    2. Remove the [id] from the name of the sub_testcases.

    Change-Id: I51b567e8382fa4e701f8b32ba7ea195d49fd31eb
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "operation_general: fix logging to use %s"
  - operation_general: fix logging to use %s

    Change-Id: I1b37cbf07e8858ca3e75bb74c57fe84485ff4989
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "standardize ssh auth"
  - standardize ssh auth

    we need to be following defautl paramiko rules,
    first use pkey, then key_filenames (autodetecting ~/.ssh/ keys),
    then password

    We have too much boilerplate redudant code everywhere, we need
    to standardize on a factory function that takes a node dict.

    Using Python3 ChainMap we can layer overrides and defaults.

    VNF descriptors have to default key_filename, password to Python None.
    The only way to do this is to omit key values if the variable is not
    defined, this way the dict will not have the value and it will
    default to Python None

    Add python2 chainmap backport

    Updated unittest mocking to use ssh.SSH.from_node

    Change-Id: I80b0cb606e593b33e317c9e5e8ed0b74da591514
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Add a new runner to test end-to-end fast data path"
  - Add a new runner to test end-to-end fast data path

    This runner caters testing fast host data path (e.g. SRIOV) plus fast VM data path (VM running pktgen-dpdk).
    It is implemented as a new flavor of the existing Iteration runner.
    (1) Add a new SLA action rate-control
    (2) While the SLA target is not met, reduce packet rate until packet loss target is met.

    Change-Id: I633f391f1790f03ff31458458d79d3f272475ab5
    JIRA: YARDSTICK-615
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fixes iso verify/upload

    Change-Id: I25baff8b74bf26903e5196f31b9f47dab94fd048
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Organize results in folder named with pod and current date

    Change-Id: I0882fb4548c3c3a6a72c6f752f8074e553ee3748
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Rename folders

    * copy -> defaults
    * render -> custom
    * roles -> ansible_roles

    Change-Id: Ia96214691873f3bd8e6c5f9f433292fd912ac46e
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Fix bug on apex

    missing repository configuration and packages

    Change-Id: I929e3bafced56b2ab8fd90edc21421bd7bde2073
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Add SRIOV support"
  - Add SRIOV support

    A generic provider network solution is introduced. To identify whether a network specified in the test case is a provider network new attributes are introduced in the test case network section:

    networks:
      test-net:
        cidr: '192.168.1.0/24'
        provider: "sriov"
        physical_network: 'physnet1'

    If the "provider" attribute is present, the network is an existing provider network. If the value is "sriov", binding:vnic_type=direct is added to the interface in the heat deployment template. In orchestrator/heat.py, the interface creating functions are given a new parameter that tells if the network in use is a provider network. The benchmark/contexts/model.py is changed to store the value of the provider attribute from the test case and function calls to port creation is updated with the provider parameter. The same change is made in contexts/heat.py as well. Also calls for creating a new tenant network is replaced for creating a new provider network if the provider attribute is present.

    Update-1: Change test_model.py
    Update-2: Per comment, change comment style to """"
    Update-3: Change test_heat.py
    Update-4: Add unit test cases to pass coverage test
    Update-5: Add SRIOV provider network example in opnfv_yardstick_tc008.yaml
    Update-6: Per comment, remove empty line in orchestrator/test_heat.py
    Update-7: Per comment, change comment lines in orchestrator/test_heat.py
    Update-8: Add more unit test cases to pass coverage test
    Update-9: Change to create SRIOV provider network on the fly so as to support co-current test runs
    Update-10: Per comment, init physical_network to 'physnet1'

    Change-Id: I76004c4fcc9bffcfd8ed021fd647e0cecb346ef4
    JIRA: YARDSTICK-612
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Solve "Buffer I/O error on dev loop0p1" error message

    This add "losetup" before "kpartx -l" command, otherwise, we encountered
    many "Buffer I/O error on dev loop0p1, logical block 104854018,
    async page read" in dmesg. But they are seems no harm.

    No need to do "losetup -d" after "losetup", because "kpartx -dv"
    will do that for us.

    Change-Id: I326ef35a241d8b09f0f3f3fc90ef749df3f4768f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fix iso verify

    Change-Id: I212437ebec64aa8521ad95c5b57a7824476a4580
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Updates quagga to newer version"
  - Updates quagga to newer version

    Change-Id: I635b171c15bca40788eefe909eaab3e9d4606db1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - f_repobuild: Add remaining packages explicitly

    Packetary automatically solves for Fuel@OPNFV:
    - base pkgs and their deps;
    - bootstrap/target image additional pkgs;
    - explicit reqs;

    However, corner cases like "pcs", which is not in any of the
    above categories - being installed via puppet only, need to be
    added to the explicit list.

    NOTE: This enables full offline deploys for simple scenarios
    (i.e. without any plugins). Each plugin might need additional
    packages, which will be handled in further patches.
    See the bug report for more information.

    JIRA: FUEL-250

    Change-Id: Id1d31c98308cdee6cb935627984188561b560ff4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - correct document of module apex_generate_inventory

    Change-Id: I10bfd526e377ae02d2f6cf6d60d82fbb175ac431
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Switch testcase to test case in docstrings

    Change-Id: Iea64673788a3d5ab5eb3028522f659de183440ed
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "add defcore/ha testcases to proposed_tests"
  - add defcore/ha testcases to proposed_tests

    JIRA: DOVETAIL-398
    JIRA: DOVETAIL-399

    1. this testsuite will run in community CI, see
    https://gerrit.opnfv.org/gerrit/#/c/33509/
    2. HA testcases please see
    https://wiki.opnfv.org/pages/viewpage.action?pageId=8684344
    3. vimops testcases deleted, since it's covered in defcore

    Change-Id: Ied9c8867e0aa99e33fd213030e6471aa5cfb86e8
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - use Functest tempest_custom test cases to run all Ipv6 test cases

    JIRA: DOVETAIL-401

    1. modify all Ipv6 test cases, change tempest_smoke_serial/tempest_full_parallel
       into tempest_custom, add ID of each sub-testcases.
    2. Some sub-testcases in ipv6.tc002, ipv6.tc003, ipv6.tc004 and ipv6.tc005 can not
       be found in the full tempest test case list.
    2. disable testcases' script_result_acquired to enable tempest_custom run multiple times.
    3. use build_tag-testcase_name(such as daily-master-79a6e392-28bb-4c40-9d88-a03bed99da2d-dovetail.ipv6.tc025)
       as the unique ID of each testcase.
    4. comment out the progress bar, because it has some problems when print the report text.
    5. Functest has changed the TEST_DB_URL from http://<testapi>:<port>/apv/v1 to
       http://<testapi>:<port>/apv/v1/results.
    6. Functest has changed the TEST_DB_URL to file://<file_path>/<file_name>.
       see https://gerrit.opnfv.org/gerrit/#/c/33511/

    Change-Id: I524f6702377f215f526158214842481eb44565be
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Dump unixbench results without top folder

    Change-Id: Ic86e03643c7d6720d6de13e8749ebe0208ab9391
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Fix issues when running qtip first time

    - results folder not created
    - hostkey check should be skipped

    Change-Id: I658f5c459617d1651eec360edd53a8766f7387c1
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add AES testing in SSL metrics

    Change-Id: Iee1b1711d9ce07c468bc390966c55bd49abea228
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Set default folder for dump data

    Change-Id: I2b96bcf369b13a679a417d78ebca19b3e63155e2
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Organize testapi tasks into ansible roles

    Change-Id: If073401b94e7146521fb54a85470b931e458de3c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Cleanup customizable variables of workspace

    Change-Id: I00185b7c73692e2aeafb1307cea81f4f2d149c74
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Group test results and report under node

    Change-Id: I66286787d06c5012c6dcf516cffb9f6fd76522c5
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add comments about workspace parameters

    Change-Id: I45f7547a15b66b6901cb5a298e3f097cd6d2257d
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Reorganize benchmarking tasks into ansible roles which helps to

    - group task with related templates and variables
    - simplify the main playbook to improve readability

    See: http://docs.ansible.com/ansible/playbooks_roles.html

    Change-Id: I9d3180edaac83ee9dba85ce5ac14ff574af7a905
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Yardstick virtualenv support

    JIRA: YARDSTICK-620

    In the patch, I separate python-setuptools from install.sh
    and separate appdirs from requirements.txt because there will be
    error when install them in virtualenv.
    Also I will update the documentation when this patch merged;

    Change-Id: I99a532d1851983775869e7c5e8e65fd0229e86df
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "dovetail: Change CI jobs to run test suite "proposed_tests" instead of "debug""
  - dovetail: Change CI jobs to run test suite "proposed_tests" instead of "debug"

    JIRA: DOVETAIL-397

    now, team decide to use proposed_tests suite instead of debug

    Change-Id: Iff8ec0b32a24e51bc2d2536605c9867b94f8921c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Minor changes in docstrings"
  - Minor changes in docstrings

    It removes case_name from the list of attributes that run() must set
    because it's now managed by run_tests.py (see __init__())

    Change-Id: Id6228880257d0e9fb27483c56aa9985197feb04e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Ignore _build (sphinx output dir)"
  - Ignore _build (sphinx output dir)

    Change-Id: I8afb00fb2942d2144968896981532324ac8e322d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Remove exec right for ci config files"
  - Remove exec right for ci config files

    Change-Id: Ibf7e549252234fb69dd6e0cc7920b66759469aea
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>