Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "Bugfix: All HA testcases are SSH timeout in CI jobs"
  - Bugfix: All HA testcases are SSH timeout in CI jobs

    JIRA: DOVETAIL-405

    1. All HA test cases running in CI are SSH timeout.
    2. The reason is that HA test cases need a file pod.yaml providing the info of
       each node of Openstack.
    3. This pod.yaml should be put in $DOVETAIL_HOME/dovetail/userconfig by users.
    4. Dovetail's CI jobs should also do some adaptions. JIRA: DOVETAIL-407
    5. modify file .gitignore to ignore directories results/ and userconfig/.

    Change-Id: I5c681445ec83c9d67a0151370f5b56840ffe444c
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Remove the useless opnfv_tests dir in tests"
  - Remove the useless opnfv_tests dir in tests

    Change-Id: I41a8db181adf6c0c67b9de8380c3ccdd1ad3b529
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/parser from branch 'master'
  - fix the command of testr

    Change-Id: Ie85940e7c3a755f6506eb75fa1bae286c4b038ca
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - adding the snapd install before running snap command

    Change-Id: Ie29fef16a3552c0f62b446481704ba07ea189aa2
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "AArch64 Dovetail docker creation job"
  - AArch64 Dovetail docker creation job

    Add support for creating and pulling Dovetail docker container
    for aarch64 platform

    Change-Id: I1e6f2b677e4c972cd80ad2c6f2cd304f0d4d8cad
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "AArch64 support for Dovetail docker"
  - AArch64 support for Dovetail docker

    Add aarch64 patch for Dovetail docker file;
    The patch should be applied from releng

    Move to Ubuntu 16.04 in order, since docker.io package was not
    available for arm on Ubuntu 14.04.
    Added "pip install -U setuptools", since installation of other
    components failed because setuptools was missing.

    Change-Id: If00346d89c48be86c6d9b830f75c1792c39d6bb3
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Bugfix: KeyError when tempest_custom runs wrong

    JIRA: DOVETAIL-406

    1. When there are something wrong with the test case tempest_custom,
       it's details json data are "details": {}, So it will throw KeyError
       exception in this situation.
    2. Catch this exception and set all sub_testcases FAIL.
    3. Disable the exceed_max_retry_times().

    Change-Id: I6bdfc5944a535625b2211a3bd8096a13b81b339e
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Update virtualenv installation step in userguide"
  - Update virtualenv installation step in userguide

    Change-Id: I0b3e8f22b6878c3b2cf1a54f3c39f2888406c508
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fixes iso verify

    Change-Id: Id22995b49d12fdb2a5d5d7532d1459f3ac4338f2
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - xena_duration_fix: Revert xena continuous to port time limits

    Revert xena continuous traffic to port based time limits as
    packet limits have an uppers bounds which could be reached
    with small packet sizes and longer durations.

    JIRA: VSPERF-507

    Change-Id: I56986159643344f7872e311590f7d05ac02b038b
Signed-off-by: Christian Trautman <ctrautma@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - xci: Ensure ansible is bootstrapped as last step

    Role requirements file is used during ansible bootstrap on opnfv
    host so we must ensure the right ansible role requirements is there
    in advance.

    Change-Id: I2c5a1edd82a51cbbe1469c31f37b5d638d32ec27
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Organize common tasks under qtip-common role

    Change-Id: I8592efdac7e6c2161eb7cb1b36d023697ebe7ad4
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Rewrite `export_to_file` as decorator

    Change-Id: Ibf852038fac986801a3fc2c608a0ddb1572abbde
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add ssl aes metrics in qpi calculation

    Change-Id: Id568aa3942849e105ca24892babff2acaec21121
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Prompt for variables required for creating workspace

    Change-Id: I9fa48ebcb8433cbc2f8101e59a285d50b0497273
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Export collected metrics to json as inputs for calculating

    Change-Id: Id2dce1e750f646aeb972221229556fcd647a3637
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Support running collect stage only

    - add `always` tag to tasks required for all stages
    - apply `setup`, `collect` and `run` tag to each stage

    Change-Id: I806ec1add08bb18cb5b2848c78a039ed8a38c8ff
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - modify daisy.conf sleep long for trustme modify cpumode

    1.add multicast flag in daisy.conf
    2.sleep40 for trustme.sh execute ok
    3.modify cpu mode of xml file to make it much more general
    4.fix check_openstack_progress parameter error

    Change-Id: Ic150698ede448b7651e95d129aeb7d97a8f34309
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - xci: Always use pinned versions of openstack-ansible-requirements

    Pinned versions used to be used only if XCI_LOOP == 'daily', but it
    seems to be required, otherwise this is very likely to fail

    Change-Id: I21f638bba75846a58b12373a903d414fa89b4bc6
Signed-off-by: Juan Vidal <juan.vidal.allende@ericsson.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Bugfix: Make tc019 abd tc025 accept --task-args options to change pod.yaml

    JIRA: YARDSTICK-628

    Change-Id: I7d1b84232a7477a2854ef1625cc63521999eff65
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - tempest test case failed in Functest smoke

    JIRA: COMPASS-545

    1. LVMISCSIDriver has been removed but LVMVolumeDriver is what actually exists.
    Updating the LVM driver name in cinder.conf will solve this.

    2. Add tgt to cinder-volume's service list

    3. Add section of ceph in cinder.conf for cinder backend

    4. Add enable_backends in cinder.conf

    Change-Id: I477d2b17ce9e10871a7b96c1a98a49506b36a6ef
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Remove useless lines of code in barometer.py

    Change-Id: Ie312dbd296a85a35096294331c28a45f8dc10d0c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - modfied to install kubectl snap and create softlink to run the
    command

    Change-Id: I3a89247eb0307ab25ce8b9106c8d26c272b46195
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "ignore the git history in daisy building job"
  - ignore the git history in daisy building job

    Now the daisycloud-core is a big repo because there are some big files
    in the git history. Use "--depth 1" to reduce the amount to download.

    Change-Id: I8ce0dc6675d2239a126bcf558300f1ad45cd3fb3
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Unify the kolla config in py

    put the kolla nova-compute.conf file  update handle to prepare/
    execute.py for unify the all relate kolla config in py way.

    Change-Id: Iac585df97d2855038a83f9bfdadfb9e449660c9c
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Update git submodules

* Update docs/submodules/bottlenecks from branch 'master'
  - Merge "Add more information to Table for stress ping"
  - Add more information to Table for stress ping

    JIRA: BOTTLENECK-164

    Table for stress ping is showing results categories for different number of users.
    It does not show the results for every testing round, just show uniquely
    testing round with different success rates.
    This patch is to make sure showing every results.

    Change-Id: I3a33164024e3da23de31d546767f0fb29952983d
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fix iso verify

    Change-Id: Ia1d6da64fa245407c5c71f7a56bb6d372fb11ebc
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "[tacker] Adjust tackerc to v3 of identity api"
  - [tacker] Adjust tackerc to v3 of identity api

    JIRA: FUEL-267
    Change-Id: Ia0e9ed3298681319c870132628d930175e084bc0
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Fix package missing on debian hosts

    Change-Id: I4cc5c78f1b33f17234bbcf4864b01c550dc0e487
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - Merge "bnx2x: allow adding VLANs while interface is down"
  - bnx2x: allow adding VLANs while interface is down

BugLink: http://bugs.launchpad.net/bugs/1616107
    Since implementing VLAN filtering in commit 05cc5a39ddb74
    ("bnx2x: add vlan filtering offload") bnx2x refuses to add a VLAN while
    the interface is down:

      # ip link add link enp3s0f0 enp3s0f0_10 type vlan id 10
      RTNETLINK answers: Bad address

    and in dmesg (with bnx2x.debug=0x20):
      bnx2x: [bnx2x_vlan_rx_add_vid:12941(enp3s0f0)]Ignoring VLAN
      configuration the interface is down

    Other drivers have no problem with this.
    Fix this peculiar behavior in the following way:
     - Accept requests to add/kill VID regardless of the device state.
       Maintain the requested list of VIDs in the bp->vlan_reg list.
     - If the device is up, try to configure the VID list into the hardware.
       If we run out of VLAN credits or encounter a failure configuring an
       entry, fall back to accepting all VLANs.
       If we successfully configure all entries from the list, turn the
       fallback off.
     - Use the same code for reconfiguring VLANs during NIC load.

    Have to change the signed-off-by line to avoid spam to original people.

    S1gned off by: Michal Schmidt <mschmidt@redhat.com>
    @cked: Yuval Mintz <Yuval.Mintz@qlogic.com>
    S1gned off by: David S. Miller <davem@davemloft.net>
    (cherry picked from commit a02cc9d3cc9f98905df214d4a57e5918473260ea)
    S1gned off by: Tim Gardner <tim.gardner@canonical.com>
    @cked: Seth Forshee <seth.forshee@canonical.com>
    S1gned off by: Luis Henriques <luis.henriques@canonical.com>

    Upstream status: Backport

    Change-Id: Ibcc668daf4815bc984e2611d8c08856a0a7973f1
Backport-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>
Signed-off-by: Yunhong Jiang <yunhong.jiang@linux.intel.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "skip ha and rename tempest.conf"
  - skip ha and rename tempest.conf

    1) ha testcases need node configure file, skip it temporarily
    2) tempest.conf-->refstack_tempest.conf, then it will not covered
       by other tempest testcases, can used for users to debug

    Change-Id: Ieb7101d8c406e294755629fd11a686f90b6c0a7f
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Collect arithmetic metrics from unixbench

    Change-Id: I3e9ca649f3b35908c162d5036dcde3a333278f6d
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Save logs before collecting

    Change-Id: I0e39103ef917fa7ea86d5c47de0cc71c37fca74c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Unify workdir

    - use role variable `workdir`
    - download dependencies to remote workdir with checksum

    Change-Id: I2a7991e014e365fec532520c2b57a3fe480914d8
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Cleanup metrics report

    Change-Id: I79b56d7490930db171fe93e314be4f6d73b0063b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add support for render a justified output from list and dict

    Change-Id: I4411e62b3d1a067cfa8ae1296cf521877aedb830
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Organize **all** tasks into ansible role `qtip`

    Change-Id: I5d3852d2a31e9c4043191377e5cb7d539d222a8c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - Merge "dpdk stats: add known issues/limitations"
  - dpdk stats: add known issues/limitations

    Change-Id: I8dbd43002f50e65df40cc8bfb516c40f995b9679
Signed-off-by: Mytnyk, Volodymyr <volodymyrx.mytnyk@intel.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Bugfix about the ipv6 results checker

    JIRA: DOVETAIL-404

    1. IPV6 sub-testcase's name includes [id], which will affects the regex.
    2. Remove the [id] from the name of the sub_testcases.

    Change-Id: I51b567e8382fa4e701f8b32ba7ea195d49fd31eb
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "operation_general: fix logging to use %s"
  - operation_general: fix logging to use %s

    Change-Id: I1b37cbf07e8858ca3e75bb74c57fe84485ff4989
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "standardize ssh auth"
  - standardize ssh auth

    we need to be following defautl paramiko rules,
    first use pkey, then key_filenames (autodetecting ~/.ssh/ keys),
    then password

    We have too much boilerplate redudant code everywhere, we need
    to standardize on a factory function that takes a node dict.

    Using Python3 ChainMap we can layer overrides and defaults.

    VNF descriptors have to default key_filename, password to Python None.
    The only way to do this is to omit key values if the variable is not
    defined, this way the dict will not have the value and it will
    default to Python None

    Add python2 chainmap backport

    Updated unittest mocking to use ssh.SSH.from_node

    Change-Id: I80b0cb606e593b33e317c9e5e8ed0b74da591514
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Add a new runner to test end-to-end fast data path"
  - Add a new runner to test end-to-end fast data path

    This runner caters testing fast host data path (e.g. SRIOV) plus fast VM data path (VM running pktgen-dpdk).
    It is implemented as a new flavor of the existing Iteration runner.
    (1) Add a new SLA action rate-control
    (2) While the SLA target is not met, reduce packet rate until packet loss target is met.

    Change-Id: I633f391f1790f03ff31458458d79d3f272475ab5
    JIRA: YARDSTICK-615
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fixes iso verify/upload

    Change-Id: I25baff8b74bf26903e5196f31b9f47dab94fd048
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Organize results in folder named with pod and current date

    Change-Id: I0882fb4548c3c3a6a72c6f752f8074e553ee3748
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Rename folders

    * copy -> defaults
    * render -> custom
    * roles -> ansible_roles

    Change-Id: Ia96214691873f3bd8e6c5f9f433292fd912ac46e
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Fix bug on apex

    missing repository configuration and packages

    Change-Id: I929e3bafced56b2ab8fd90edc21421bd7bde2073
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Add SRIOV support"
  - Add SRIOV support

    A generic provider network solution is introduced. To identify whether a network specified in the test case is a provider network new attributes are introduced in the test case network section:

    networks:
      test-net:
        cidr: '192.168.1.0/24'
        provider: "sriov"
        physical_network: 'physnet1'

    If the "provider" attribute is present, the network is an existing provider network. If the value is "sriov", binding:vnic_type=direct is added to the interface in the heat deployment template. In orchestrator/heat.py, the interface creating functions are given a new parameter that tells if the network in use is a provider network. The benchmark/contexts/model.py is changed to store the value of the provider attribute from the test case and function calls to port creation is updated with the provider parameter. The same change is made in contexts/heat.py as well. Also calls for creating a new tenant network is replaced for creating a new provider network if the provider attribute is present.

    Update-1: Change test_model.py
    Update-2: Per comment, change comment style to """"
    Update-3: Change test_heat.py
    Update-4: Add unit test cases to pass coverage test
    Update-5: Add SRIOV provider network example in opnfv_yardstick_tc008.yaml
    Update-6: Per comment, remove empty line in orchestrator/test_heat.py
    Update-7: Per comment, change comment lines in orchestrator/test_heat.py
    Update-8: Add more unit test cases to pass coverage test
    Update-9: Change to create SRIOV provider network on the fly so as to support co-current test runs
    Update-10: Per comment, init physical_network to 'physnet1'

    Change-Id: I76004c4fcc9bffcfd8ed021fd647e0cecb346ef4
    JIRA: YARDSTICK-612
Signed-off-by: Jing Zhang <jing.c.zhang@nokia.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Solve "Buffer I/O error on dev loop0p1" error message

    This add "losetup" before "kpartx -l" command, otherwise, we encountered
    many "Buffer I/O error on dev loop0p1, logical block 104854018,
    async page read" in dmesg. But they are seems no harm.

    No need to do "losetup -d" after "losetup", because "kpartx -dv"
    will do that for us.

    Change-Id: I326ef35a241d8b09f0f3f3fc90ef749df3f4768f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fix iso verify

    Change-Id: I212437ebec64aa8521ad95c5b57a7824476a4580
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Updates quagga to newer version"
  - Updates quagga to newer version

    Change-Id: I635b171c15bca40788eefe909eaab3e9d4606db1
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - f_repobuild: Add remaining packages explicitly

    Packetary automatically solves for Fuel@OPNFV:
    - base pkgs and their deps;
    - bootstrap/target image additional pkgs;
    - explicit reqs;

    However, corner cases like "pcs", which is not in any of the
    above categories - being installed via puppet only, need to be
    added to the explicit list.

    NOTE: This enables full offline deploys for simple scenarios
    (i.e. without any plugins). Each plugin might need additional
    packages, which will be handled in further patches.
    See the bug report for more information.

    JIRA: FUEL-250

    Change-Id: Id1d31c98308cdee6cb935627984188561b560ff4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - correct document of module apex_generate_inventory

    Change-Id: I10bfd526e377ae02d2f6cf6d60d82fbb175ac431
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Switch testcase to test case in docstrings

    Change-Id: Iea64673788a3d5ab5eb3028522f659de183440ed
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "add defcore/ha testcases to proposed_tests"
  - add defcore/ha testcases to proposed_tests

    JIRA: DOVETAIL-398
    JIRA: DOVETAIL-399

    1. this testsuite will run in community CI, see
    https://gerrit.opnfv.org/gerrit/#/c/33509/
    2. HA testcases please see
    https://wiki.opnfv.org/pages/viewpage.action?pageId=8684344
    3. vimops testcases deleted, since it's covered in defcore

    Change-Id: Ied9c8867e0aa99e33fd213030e6471aa5cfb86e8
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - use Functest tempest_custom test cases to run all Ipv6 test cases

    JIRA: DOVETAIL-401

    1. modify all Ipv6 test cases, change tempest_smoke_serial/tempest_full_parallel
       into tempest_custom, add ID of each sub-testcases.
    2. Some sub-testcases in ipv6.tc002, ipv6.tc003, ipv6.tc004 and ipv6.tc005 can not
       be found in the full tempest test case list.
    2. disable testcases' script_result_acquired to enable tempest_custom run multiple times.
    3. use build_tag-testcase_name(such as daily-master-79a6e392-28bb-4c40-9d88-a03bed99da2d-dovetail.ipv6.tc025)
       as the unique ID of each testcase.
    4. comment out the progress bar, because it has some problems when print the report text.
    5. Functest has changed the TEST_DB_URL from http://<testapi>:<port>/apv/v1 to
       http://<testapi>:<port>/apv/v1/results.
    6. Functest has changed the TEST_DB_URL to file://<file_path>/<file_name>.
       see https://gerrit.opnfv.org/gerrit/#/c/33511/

    Change-Id: I524f6702377f215f526158214842481eb44565be
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Dump unixbench results without top folder

    Change-Id: Ic86e03643c7d6720d6de13e8749ebe0208ab9391
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Fix issues when running qtip first time

    - results folder not created
    - hostkey check should be skipped

    Change-Id: I658f5c459617d1651eec360edd53a8766f7387c1
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add AES testing in SSL metrics

    Change-Id: Iee1b1711d9ce07c468bc390966c55bd49abea228
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Set default folder for dump data

    Change-Id: I2b96bcf369b13a679a417d78ebca19b3e63155e2
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Organize testapi tasks into ansible roles

    Change-Id: If073401b94e7146521fb54a85470b931e458de3c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Cleanup customizable variables of workspace

    Change-Id: I00185b7c73692e2aeafb1307cea81f4f2d149c74
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Group test results and report under node

    Change-Id: I66286787d06c5012c6dcf516cffb9f6fd76522c5
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add comments about workspace parameters

    Change-Id: I45f7547a15b66b6901cb5a298e3f097cd6d2257d
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Reorganize benchmarking tasks into ansible roles which helps to

    - group task with related templates and variables
    - simplify the main playbook to improve readability

    See: http://docs.ansible.com/ansible/playbooks_roles.html

    Change-Id: I9d3180edaac83ee9dba85ce5ac14ff574af7a905
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Yardstick virtualenv support

    JIRA: YARDSTICK-620

    In the patch, I separate python-setuptools from install.sh
    and separate appdirs from requirements.txt because there will be
    error when install them in virtualenv.
    Also I will update the documentation when this patch merged;

    Change-Id: I99a532d1851983775869e7c5e8e65fd0229e86df
Signed-off-by: chenjiankun <chenjiankun1@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "dovetail: Change CI jobs to run test suite "proposed_tests" instead of "debug""
  - dovetail: Change CI jobs to run test suite "proposed_tests" instead of "debug"

    JIRA: DOVETAIL-397

    now, team decide to use proposed_tests suite instead of debug

    Change-Id: Iff8ec0b32a24e51bc2d2536605c9867b94f8921c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Minor changes in docstrings"
  - Minor changes in docstrings

    It removes case_name from the list of attributes that run() must set
    because it's now managed by run_tests.py (see __init__())

    Change-Id: Id6228880257d0e9fb27483c56aa9985197feb04e
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Ignore _build (sphinx output dir)"
  - Ignore _build (sphinx output dir)

    Change-Id: I8afb00fb2942d2144968896981532324ac8e322d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Remove exec right for ci config files"
  - Remove exec right for ci config files

    Change-Id: Ibf7e549252234fb69dd6e0cc7920b66759469aea
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Fix pylint warnings in decorators.py"
  - Fix pylint warnings in decorators.py

    Change-Id: Ie6c53feb97053248c909d641753b44b5f51c8719
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Stop hardcoding results suffix in push_to_db"
  - Stop hardcoding results suffix in push_to_db

    Adding results in url is useless as it is defined in results
    section in config_functest.yaml.

    It allows defining the full name in case of dumping to file (see
    decorator.py). The commented local file is the value required by
    dovetail.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
    Change-Id: I35ba9b34d99e138292f099934e28585ee8b85604
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - [VNF_base] Support existing tenant and user

    Support existing tenant and user with a get_or_create_tenant method.
    If the tenant and user already exist it only get the id of those

    JIRA: FUNCTEST-799

    Change-Id: Id5daf2904592e42199471bdd3547e861e6db6e32
Signed-off-by: boucherv <valentin.boucher@orange.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - fix tox error

    see logs

    https://build.opnfv.org/ci/job/dovetail-verify-master/560/console

    Change-Id: Ifa66087c4c8fcbaae809aae380587a4f03eded6c
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/bottlenecks from branch 'master'
  - Bugfix of docker-compose file for privileged

    JIRA: BOTTLENECK-163

    privileged option in docker-compose file should be true to avoid
    "permission deny" error when accessing directories

    Change-Id: I1a57146236efb5fe71405c5b7682af706a8814bf
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Fix workspace creator"
  - Fix workspace creator

    - handle relative path in workspace
    - handle differences between installers
    - create working directories

    Change-Id: I5fbe66c1218c29db0fafd87085a6cf5c15a91dc5
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "put dovetail test result back in log and not generte report file"
  - put dovetail test result back in log and not generte report file

    Change-Id: I2da5e7844f5ce034d4c0cfaa4592e6cd47002049
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - set dovetail.log level by command line

    JIRA: DOVETAIL-400

    1. set both the dovetail.log and screen log level by command --debug.
    2. if --report http://testapi_url:port/api/v1/, change it into
          --report http://testapi_url:port/api/v1

    Change-Id: I7cf697d4ac9072fc2d302a67ccde0f452d84be8f
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "[doctor] fix test case name"
  - [doctor] fix test case name

    See, https://gerrit.opnfv.org/gerrit/#/c/33099/ .

    Change-Id: I3bf5bbeef88445512b70fc47be08ecc481c42c2a
Signed-off-by: Ryota MIBU <r-mibu@cq.jp.nec.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Make arm-virtual1 pod not available for CI jobs"
  - Make arm-virtual1 pod not available for CI jobs

    Change-Id: I1ae47f2105744bfea8c8c589f41282d1c4ae2159
Signed-off-by: Alexandru Nemes <alexandru.nemes@enea.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Set default width to 80 for justify filter"
  - Set default width to 80 for justify filter

    - 80 default screen width for most consoles
    - template content should not be part of console reporter test
    - remove fix width splitter in console report templates

    Change-Id: Ib060b447bd52c211a4bf1e4ded2f898a9201b6d8
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Merge "ixia: Support of 1 NIC connection to trafficgen"
  - ixia: Support of 1 NIC connection to trafficgen

    For some testcases it is useful to have only one connection between
    traffic generator and DUT. Thus IxNet class was extended to support
    such connection. Feature is enabled if both IXIA ports are set to
    the same value.
    New integration testcase ixnet_pvp_tput_1nic was created to demonstrate
    this feature.
    Unused code was removed from 3rd_party/ixia/ixnetrfc2544.tcl to simplify
    introduction of new features and to speed up IXIA configuration.

    JIRA: VSPERF-503

    Change-Id: I92ab24fa58eeb1ccb7f00ac7f3530ffca7b99241
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Al Morton <acmorton@att.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>
Reviewed-by: Sridhar Rao <sridhar.rao@spirent.com>
Reviewed-by: Trevor Cooper <trevor.cooper@intel.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Automate QTIP upload to PyPI."
  - Automate QTIP upload to PyPI.

    Change-Id: I3be05a75551ca8648f6ea7dea35f1180178e5b7d
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Restore default content of ansible.cfg

    The comments are very helpful when updating configuration

    Change-Id: If04bc2d784981991a5bb0e5b7599280180b44704
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Create workspace by ansible playbook

    Change-Id: Ia79353e686240c5915e40b8202d3fdc289df2158
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Add UnixBench benchmarking role"
  - Add UnixBench benchmarking role

    Change-Id: I14e1630ff67bf4dff0998456e57fee2b1656f585
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Use ansible roles to setup development tools"
  - Use ansible roles to setup development tools

    Change-Id: I897773edf8dcacf08e67fa3eb999c4c10ba22805
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Use different folder for cached data"
  - Use different folder for cached data

    - `dump` is for raw testing data and logs from remote
    - `cache` for temporary data required for testing

    Change-Id: I540338eae2dd7bbd14b359e1a0dbce186ada902b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Fix error in details"
  - Fix error in details

    The leading space causes `details` value to be string, not dict

    Change-Id: Ie2acfd91f2ec9280c0a24e2459229a72f45350af
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "fix apex integration"
  - fix apex integration

    I didnot find a right way to source Openstack rc file via ansible
    module python api. Without openstack rc fiel, openstack cli command
    can not be executed. So I move this part to ansible playbook.

    Change-Id: I44439560f8ffa1b41890c4e94c9657ab2cc43241
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: more fixes for iso verify

    Change-Id: Ie1a59806b20072f27adc2f7248c4244e53a5f2bb
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Set plugfest demo site for default testapi url

    Change-Id: I4a77e9f5ccb9c2d60343e9894e175e1f903965a8
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - Merge "modified not to use the extra server on the openstack."
  - modified not to use the extra server on the openstack.

    Change-Id: Id3e6b38f0d6b51dd0788cebe71b7b48e57204516
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - Fix clean maas issue

    Change-Id: Iea000e7740185c08c87f2c94853a344d759166c4
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Add ODL netvirt VPP support

    opnfv-tht-pr: 131

    Change-Id: I112d454078bd29a386b8557bf1d015d81f328d61
Signed-off-by: Feng Pan <fpan@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fixes iso verify

    Change-Id: I2aeca682d6543b36cd8b28f78580c4194db85453
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - Merge "Added scripts for building collectd RPM"
  - Added scripts for building collectd RPM

    Change-Id: I60a080ebc046af8683624d3c944690fe0e0961d8
Signed-off-by: Taras Chornyi <tarasx.chornyi@intel.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "fuel-menu: Align defaults w/ OPNFV bootstrap cfg"
  - fuel-menu: Align defaults w/ OPNFV bootstrap cfg

    Instead of overwriting fuel_bootstrap_cli.yaml during post-install,
    with a static config which we need to manually sync in OPNFV after
    each upstream change, make the whole thing dynamic by syncing (via
    patch) fuel-menu's default settings with OPNFV bootstrap.

    This allows us to drop the static fuel_bootstrap_cli.yaml.

    JIRA: FUEL-266

    Change-Id: I132f2a272c764ad0fc84b3e0e0e1222b1fab1cd2
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - docs: Remove whitespaces from indexes

    Whitespaces were removed from RST indexes to correctly
    pass rst validation.

    Change-Id: I5f277d5f8846653c6e7ea3fbb29881e2dd3f610b
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Al Morton <acmorton@att.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>
Reviewed-by: Sridhar Rao <sridhar.rao@spirent.com>
Reviewed-by: Trevor Cooper <trevor.cooper@intel.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Merge "xena_verify: Add final verification option to Xena"
  - xena_verify: Add final verification option to Xena

    Adds final verification option to Xena traffic generator
    inside VSPerf. Works by running the Xena2544.exe again
    after the initial run is complete with modified values
    inside the json file. If the final verify fails it will
    revert the settings and continue the in a pattern based
    on if the smart search is enabled.

    JIRA: VSPERF-506

    Change-Id: Ic272628c489b88989f67549bd020af7354dc9b91
Signed-off-by: Christian Trautman <ctrautma@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "unify data existence check"
  - unify data existence check

    Change-Id: I2ee4c3be6f34ce12530450cd22f2561c458685f9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>