Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Collect dpi metrics and report"
  - Collect dpi metrics and report

    Change-Id: I0e02cff9a5bfc123b3227803289fc03abe27f112
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Optimize nDPI repeating speed"
  - Optimize nDPI repeating speed

    - check existence of target file for nDPI build task
    - skip git updating

    Change-Id: I7e91df0a38845b2ba8a2dec938b51e1ccc6554cc
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Add nDPI tasks"
  - Add nDPI tasks

    Change-Id: I18b797d7fb8e5ca1bfd74dbcb836ec4feb318378
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Fix hardcode dump file"
  - Fix hardcode dump file

    Change-Id: Icef12e41b5bf64987a0991a9328ee8d6f1d3b161
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Enable task profiling"
  - Enable task profiling

    Benchmark jobs takes a long time, enable task profiling to collect
    estimated run time so that we can set time out for async job correctly

    Change-Id: Ie9518380acc8da06f26f762ea016b7837a8bd2fb
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Add unittests for testapi client"
  - Add unittests for testapi client

    Change-Id: I33ffd6ca6110b5fb245a3fc31fc0c63e11588fb8
Signed-off-by: akhilbatra898 <akhil.batra@research.iiit.ac.in>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Add E release development version."
  - Add E release development version.

    Change-Id: Icda9c44aa33e63d46da0c5187157132a49db0882
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Adding iso verify to Apex builds

    JIRA: APEX-377

    Change-Id: I1e02fc602e8258e76f9447d05b09b17e55d0d25a
Signed-off-by: Dan Radez <dradez@redhat.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Add docstings in feature.py

    It also modifies the testcase module docstring.
    Now features.py is rated 10/10 by pylint.

    Change-Id: I83f2ac385b2a713d116c1ae4b49ba9cc9b26a83c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Remove former cmd instance attribute

    It's now useless as it's passed as run() args.

    Change-Id: I97e14bd431a8844cd90905bf2050c48fb00f1cc5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Fix Sphinx warnings/errors

    It takes into account the following warnings/errors:
      - Inline strong start-string without end-string
      - Unexpected indentation

    Change-Id: Idb05c7b04ba98ef8f3ef65e6ec7c9bb5b7571cad
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Use Sphinx to create API documentation

    The packages/modules which are part of Functest framework are parsed.
    It also generates ODL TestCase API as it's well commented.

    The content is simply referring to modules.

    Change-Id: I873ae1535fc05c9d7e426f5fb54f9579eb01e6d1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "xci: Merge configure-targethosts.yml playbooks into one"
  - xci: Merge configure-targethosts.yml playbooks into one

    They are exactly same now after moving nfs to compute00.

    Change-Id: I9d9d2f037aa3684ba130ae0a4f9aef2e733f2d2e
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - xci: Fix nfs server ip for glance

    Change-Id: Iebb9945bfd9cad9ebfda127f130542f4a6334aec
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - modified to remove the errors.

    Change-Id: I9a7dc34d9c40517863505df350c3c2e91156e295
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "Change the default packages url from compass http server to opnfv artifacts"
  - Change the default packages url from compass http server to opnfv artifacts

    JIRA: COMPASS-544

    Currently compass4nfv uses compass http server to store those packages used in
    building ISO. This is not propriate in OPNFV community. So we push all the packages
    into opnfv artifacts repo and change the package url used in compass to opnfv
    artifacts repo url.

    Change-Id: I9661f2d893767e18c037ba9de5f54933f48ce466
Signed-off-by: Yifei Xue <xueyifei@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - xci: Change cinder backend and move nfs to compute00

    This change
    - switches cinder backend from lvm to nfs as examplified in [1].
    - moves nfs shares from compute01 to compute00 in order to merge
    configure-targethosts.yml playbook in upcoming change.
    - updates openstack_user_config.yml to reflect the switch to nfs
    and move of nfs server to compute00.
    - removes exports file due to switching to lineinfile module.

    [1] https://docs.openstack.org/project-deploy-guide/openstack-ansible/draft/app-config-prod.html

    Change-Id: I0715c98a89ab124256e3857c1047e374f261e39b
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - xci: Force sync time

    For some reason, when the nodes are provisioned, they are out
    of sync time-wise. This prevents neutron agents on compute nodes
    from starting and then everything fails.

    This change restarts chrony after the network configuration is updated
    and the nodes have internet access and force synchs time on nodes.

    Change-Id: Ib27b1fa0313223b52fa2e6229d5a179581d62686
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - xci: Fix network configuration

    This change
    - sets static IP for controller nodes' vxlan bridges as stated
    in osa documentation: compute and network hosts must have an IP [1]
    - configures IPs for controller nodes' vxlan bridges.
    - removes the additional vlan ip from compute nodes as it seems to
    be there for all in one.
    - removes glean.rules as they mess with the network configuration once
    the network changes are applied.
    - removes the contents of interfaces.d as osa populates config for
    lxc bridges and includes this config in interfaces file thus all the
    files in interfaces.d must be removed in order not to mess with the
    network configuration.
    - updates modules appropriately.

    [1] https://docs.openstack.org/project-deploy-guide/openstack-ansible/draft/app-config-prod.html

    Change-Id: I84d5f07216c8d0246da06080fb0ed19f917d6637
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - KVMFORNFV:Passing breaktrace option to cyclictest.

    This patch is used to add breaktrace option to monitor the latency
    values while executing cyclictest test cases as a part of kvmfornfv
    verify and daily jobs.

    Change-Id: I035ea72a8946a9d3db37a6ee33ffbf3ca67834a2
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "apex integration"
  - apex integration

    Change-Id: Ief21554dfa7cd79e7ed0cb1615f6dbf079cb6077
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "fix click and pytz package version"
  - fix click and pytz package version

    JIRA: DOVETAIL-376

    Change-Id: Ia269ca7cdd34c71b4531b28e42e40415190ae398
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Update .gitignore"
  - Update .gitignore

    - ignore ansible retry inventory
    - remove sample report because it has been moved to resources/

    Change-Id: I329e63ef674fddaf61eb2fc010017c53059f482c
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - push results to testapi

    Change-Id: Ie6e231690f92971b776cd41af18b21acb43bb199
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Add testapi setup task

    Change-Id: I7b4d3186afd724ec5a30cf630baee79875e426bb
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>
  - Aggregate qpi score from all nodes

    Change-Id: Ib711a493a949b013ffe22519861f144dc47d0334
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Fix for multi-stream configuration

    The multistream configuration is not passed to the remote host where the traffic generator (MoonGen) runs.

    Change-Id: I3e9862553b5b064272f3bfffb788c06ebd3740ca
Signed-off-by: Marco Varlese <marco.varlese@suse.com>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - Merge "Increasing the cyclictest execution time."
  - Increasing the cyclictest execution time.

    This patch is used to increase the cyclictest test execution time
    as a part of kvmfornfv verify job.

    Change-Id: I8343222c791f6c0216e4c8d75e4637773f699c0e
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - Merge "To update the yardstick stable branch."
  - To update the yardstick stable branch.

    This patch is used to update the yardstick stable branch from
    colorado to danube for executing cyclictest as a part of kvmfornfv
    verify and daily jobs.

    Change-Id: I9deb72e1d729bb9189db56b9e6aeec4fbe85a4d7
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - Update bnx2x firmware

    Update bnx2x firmware according to ubuntu krenel.

    The original patches are from Tim Gardner <tim.gardner@canonical.com> and can
    be found under ubuntu-kernel.

    upstream-status: N/A

    Change-Id: I7a27e16121f8a9cc7a2d84707fd3eb14f63bfb78
Signed-off-by: yunhong.jiang@intel.com

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Fix the irc channel

    Change-Id: Idb446213274b7dfb03b0ee072717a35e03428609
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Add class attribute docstrings in testcase.py"
  - Add class attribute docstrings in testcase.py

    Change-Id: I91a5c6fb14f7c76a348bb4329d023bab53a3804c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Fix typos in vnf_base.py"
  - Fix typos in vnf_base.py

    Change-Id: Idf0380930e97e1aa4584ba000f32d742a87d9486
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - KVMFORNFV: Disabling kvmfornfv daily danube job.

    This patch is used to temporarily disable kvmfornfv daily danube
    job from triggering as Intel-pod10 is currently not available for
    executing daily danube test cases.

    Note: Will enable the kvmfornfv daily danube job once Intel-pod10
    is available for executing test cases.

    Change-Id: I26cb1e360962a895b2e3ced3ccadfc1f770a5663
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "The image file is deleted mistakenly"
  - The image file is deleted mistakenly

    There's an mistake in patch 33327.
    See https://gerrit.opnfv.org/gerrit/#/c/33327/
    The cleanup function was called twice, so the image file was deleted.

    Change-Id: I5fe6a90b46739d1c6d8b66365d2c8e55350cde00
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "Modify the log message in deploy script"
  - Modify the log message in deploy script

    1. Move an log message to the correct location(now at line 331).
       In baremetal deployment, the virtual-deploy message is printed.
    2. Modify all the "===" in the log messages to the same number of "="
    3. Remove the TODO list since the work finished

    Change-Id: I34325c522036caf9d1aa58c9cbf30eb77843fdfc
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "Treat bad command line usage as error"
  - Treat bad command line usage as error

    Since we can not tolerate any kind of error which may result in
    multicasting failed to run. So even the usage error shall be
    treated as error too.

    Change-Id: I5483bb2cebf437ed33ebb79eeeac640f8728a73f
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - directory update

    JIRA: DOVETAIL-395

    1. since plugfest has its own plan, the files are removed

    Change-Id: I4989d1e0e1af483205733b3130e3f1152a8933c7
Signed-off-by: hongbotian <hongbo.tianhongbo@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Add usage of testapi client"
  - Add usage of testapi client

    Change-Id: Ifacc61c5353e3975e625bb2843972cba6be79398
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Fix error in py35"
  - Fix error in py35

    Change-Id: Iacc7bce9e1b5379907677d9fa0c26bf9c8ba155b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Move YAML resources to /resources.

    - replacing the content of /benchmarks will break current module like api/cli
    - migration required before surpressing the current benchmarks/ folder

    Change-Id: I8bd04eeb18aaa3c966330ff7adbe85a267680fc1
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Load benchmark specification from external file

    Change-Id: If72f1d98b90f9666c17aa28b3b88f32178ee4166
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Add copper section in testcases.yaml"
  - Add copper section in testcases.yaml

    JIRA: COPPER-34

    Change-Id: I7301745718b9c035493c2e5c162e2a4e117982db
Signed-off-by: Aimee Ukasick <aimeeu.opensource@gmail.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Dump collected facts"
  - Dump collected facts

    Change-Id: Id0b7b2e94016a73ffcaa2d737af1ca33230b3662
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "rename output file to sample"
  - rename output file to sample

    Change-Id: I9c62114ebd6c2016fa177565a4413138cafd573b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "add the argument WORKDIR in daisy-img-modify.sh"
  - add the argument WORKDIR in daisy-img-modify.sh

    the daisy install tmp workdir can be configurated as an input
    argument in deploy.sh,and it also should be used in subshell
    daisy-img-modify.sh,so add the input argument -w workdir
    in daisy-img-modify.sh.

    1.add an input argument -w workdir in daisy-img-modify.sh.
    2.modify the WORKDIR default value to /tmp/workdir/daisy.
    3.code refactor to put the centos7.qcow2 file clean statement
    from the deploy.sh to daisy-img-modify.sh.

    Change-Id: Id375a15ad2839c209329e644c5e032d044604e7d
Signed-off-by: zhongjun <zhong.jun@zte.com.cn>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - Disabling kvmfornfv daily job test cases.

    This patch temporarily disables kvmfornfv cyclictest and packet
    forwarding test cases execution as part of daily job as Intel-pod10
    is currently not available for executing test cases.

    Note: kvmfornfv daily job testcases will be enabled when Intel-pod10
    is available.

    Change-Id: Ieeea7bd298ae2e79948a321405094c8942397c3c
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Merge "Run all test suites when none chosen."
  - Run all test suites when none chosen.

    Changed the test_runner.py to run all four suites of tests
    when none have been chosen.

    JIRA: SNAPS-10

    Change-Id: I9f8f543f9aca07d01911bd8812478bf470673575
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Updated method calls to SNAPS tests."
  - Updated method calls to SNAPS tests.

    Due to the refactoring performed in gerrit patch
    31435, the calls to the SNAPS tests needed to be
    updated.

    JIRA: SNAPS-23

    Change-Id: I9069ea61b1d15b52a081501b03ae8bf73da10f29
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Set image and flavor id in tempest config file"
  - Set image and flavor id in tempest config file

    Kingbird tests require that image and flavor are defined in tempest
    configuration file.

    JIRA: FUNCTEST-783

    Change-Id: If96ef8e38e3f1a5946b687f1e5c8c0a6c3a90d54
Signed-off-by: Juha Kosonen <juha.kosonen@nokia.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Add license in feature.py

    Change-Id: I75f51f216dcbf0db1c563cf381c28efc47241d3c
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Remove deprecated feature modules

    All features running bash programs are now simply defined in
    testcases.yaml. All deprecated modules and unit tests are removed.

    Change-Id: I7047b6f7a1e43cb8ed5ba2d569d5dcecae68fb86
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Revert "Cleanup dirty daisy build workspace directory""
  - Revert "Cleanup dirty daisy build workspace directory"

    This reverts commit 3ede21905ba5df94df06952e90d89ec0c16e7bb7.

    The deleted line in daisy4nfv-basic.sh in this PS was used exclusively
    by a job to clean up files with wrong ownership in workspace previously.
    Now, daisy4nfv-basic.sh is used combind with build/test scripts in job,
    so we need to delete this line, otherwise, we encountered workspace was
    wiped which resulted in build/test scripts failed to run.

    Change-Id: I8812a495db789838c3a88510a05956a11e8227d5
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "support mutinode deploy in vm deployment env"
  - support mutinode deploy in vm deployment env

    Change-Id: Ic9e19d4e120fc53d96d0794239cd6e421f25ea27
Signed-off-by: zhouya <zhou.ya@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "User friendly messages for exceptions"
  - User friendly messages for exceptions

    - Use colorama for color
    - Implement verbosity option in separate patch

    Change-Id: Ib2491d867e9bbf59cb00874d99a11f86ad7eea1b
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "Up br-external after its creation"
  - Up br-external after its creation

    JIRA: -

    On a clean env run compass4nfv deploy script will cause the jumpserver
    network unreachable. This patch fix this issue.

    Change-Id: Ib04762c5cf745ab40adcf05497d518e6d86ad97c
Signed-off-by: QiLiang <liangqi1@huawei.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - Merge "Fix memcached doesn't start issue"
  - Fix memcached doesn't start issue

    JIRA: -

    Sometimes memcached does not start after installation finished,
    which will cause issues like openstack dashboard open instance
    console failure.

    This patch add memcached restart notify during package installation
    and add memcached to cron service-status-check task's config file:
    /opt/service

    Change-Id: I625899348fb447875fcca7beedb619b5490ce567
Signed-off-by: QiLiang <liangqi1@huawei.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Merge "Nominating Alex Yang <yangyang1@zte.com.cn> as committer for Daisy4NFV project."
  - Nominating Alex Yang <yangyang1@zte.com.cn> as committer for Daisy4NFV project.

    Alex has been contributing the majority of code to Daisy4NFV since the
    last season[1][2].

    I have had a talk with him on IRC meeting [3] and he expressed willing to
    contribute more to Daisy4NFV project and I believe he will make a great
    addition to the core review team.

    All Daisy4NFV committers, please vote +1 or +2 if you support this nomination [4].

    This PS also propose a committer removal. Jian Yang  (yangjianyjy@chinamobile.com)
    has been inactive in the project for a long time. He

    - was not present in the project meetings for more than 6 months
     (see participant lists in the minutes or IRC); AND
    - did not contribute any patch for the project for more than 6 months; AND
    - did not participate in the email discussion of the project for more than 6 month AND
    - We failed to contact him offline.

    [1] http://stackalytics.com/?project_type=opnfv-group&metric=commits&release=all&module=daisy
    [2] https://gerrit.opnfv.org/gerrit/#/q/owner:yangyang1%2540zte.com.cn+status:merged+project:daisy
    [3] http://eavesdrop.openstack.org/meetings/daisycloud/2017/daisycloud.2017-03-24-07.58.log.html
    [4] https://wiki.opnfv.org/display/DEV/Committer+Promotions

    Change-Id: Ibd416d93d01c7fe769dfc0c5809baca4cdefca46
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Ensuring each port manipulation test waits for the instance to become active

    The problem with OpenStack is that when one attempts to delete an instance
    that is still spawning, it can take an inordinate amount of time for OpenStack
    to complete the request resulting in artifacts being left.

    JIRA: SNAPS-64

    Change-Id: I39f33291e650c00a8b5a40cb0051b99b71923acf
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Renamed SNAPS-OO test runner filename and changed arguments."
  - Renamed SNAPS-OO test runner filename and changed arguments.

    JIRA: SNAPS-10

    Change-Id: Ice08276f683445c6eebcd28e2badc25135545fd4
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "update check_os.sh admin port seds to match public"
  - update check_os.sh admin port seds to match public

    If there's not a / on the end of the admin url then port is not found
    public already handled this correctly. updating admin to match public

    JIRA: FUNCTEST-793
    Change-Id: I01d654dfe247c6102a90ba7ea3921a9f15991789
Signed-off-by: Dan Radez <dradez@redhat.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Refactored SNAPS tests to take in the actual OSCreds object.

    The code previously had individual parameters for different
    aspects of the credentials. This change not only makes the
    method calls easier, but it also helps the logs from becoming
    too verbose as each test case was instantiating its own OSCreds
    instance.

    JIRA: SNAPS-23

    Change-Id: I8860e7329b9ec59d78e5977af74f4d3073496f24
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/octopus from branch 'master'
  - Collecting additional information from later parts into the overview
    to keep up with discussions so far and improving overall clarity.

    Change-Id: If9367e3981f4bf9638e15fcb65320f9239166cef
Signed-off-by: Tim Irnich <tim.irnich@ericsson.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Consume OPNFV TestAPI to push results"
  - Consume OPNFV TestAPI to push results

    push_results will be triggered after a benchmark run is completed.

    - Added Validation before the information to be sent to testapi
    - A validator is added as a decorator for this

    Change-Id: I1149133fc41668f6c8dab042e59673be2b46d09d
Signed-off-by: akhilbatra898 <akhil.batra@research.iiit.ac.in>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "dovetail tool: bugfix: test cases are erroneously judged"
  - dovetail tool: bugfix: test cases are erroneously judged

    JIRA: DOVETAIL-375
    JIRA: DOVETAIL-390

    1. defcore test cases are erroneously judged because of:
       a) defcore results json data lack some keys
       b) some sub-testcases' names are the same as the prefix of another sub-testcases.
    2. this patch removes the extra keys and judge sub-testcases accurately.
    3. remove "store_type" in functest_config.yml and yardstick_config.yml.
    4. change some log levels from info to debug.

    Change-Id: I5f126e70309409cac66ef9a0909f1573d325098b
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Bugfix: fix typo"
  - Bugfix: fix typo

    Change-Id: I9b7cd5f94b1663af3b807ce24c941868b10d85d1
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Refactoring connection task

    - split `compute` playbook into `setup` and `run`
    - save inventory and ssh configuration after in `setup`

    Change-Id: I0803a954ffcd7c07861ff6bdb76acdbfaa4815bd
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Do not run docker with -t option"
  - Do not run docker with -t option

    Change-Id: I33fc01c36b6e290cc47464087a1e84da35a8c56a
Signed-off-by: Jamo Luhrsen <jluhrsen@redhat.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Merge "Renamed test application and added new command line arguments."
  - Renamed test application and added new command line arguments.

    JIRA: SNAPS-10

    Change-Id: I809a93f67ee0931df9601a0095775fe6303bbfbb
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/opera from branch 'master'
  - Set openstack related clients to fixed versions

    Change-Id: Iec8ed803fe5567d2d148a518046264fd0bc1ca21
Signed-off-by: huangxiangyu <huangxiangyu5@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Refactor the Feature framework

    run() returns the expected status code (see following JIRA tickets).
    repo, pre() and post() are removed as they were quite useless.
    A dedicated class is proposed for bash programs.
    Unit tests have been added to fully cover this module.

    All features have been modified to conform with these modifications.
    It also removes the decorators which skipped several unit tests.

    JIRA: FUNCTEST-778
    JIRA: FUNCTEST-779
    JIRA: FUNCTEST-780
    JIRA: FUNCTEST-781

    Change-Id: Ifb1e4c4f68260a4e20d895f67f07f369ca959374
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Modify TestCase constructor attributes

    Every feature/testcase now allows receiving the data defined in
    testcases.yaml as args (name is renamed to case_name).

    From the time being, only project and case names are handled. Next
    pending patches will add criteria, cmd and repo to this list.

    It keeps the default values for case names except for features which
    will be aggregated into Feature.

    Change-Id: Id742d100b8183d7f10894c24ae6879d1b2b60ac9
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Rename test_ims_base.by to test_ims_base.py

    It fixes errors when importing modules too.
    It completes the review "Added test case for opera vims" [1].

    [1] https://gerrit.opnfv.org/gerrit/#/c/30681

    Change-Id: Ib3cf9c66eb9a2c25ff4fb58d48e4b15a44556f7c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Write feature case names in testcases.yaml

    It replaces some project names by the corresponding case names.
    Else some feature projects results failed to be pushed to DB.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
    JIRA: FUNCTEST-792

    Change-Id: Id81644406bafb361da46e397a92e60b4da2ec068
Signed-off-by: Linda Wang <wangwulin@huawei.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Bugfix: Convert the string list to list"
  - Bugfix: Convert the string list to list

    Compass information failed to be printed as the roles were string list

    Change-Id: I38037dae099862a040b817b690d451951e0bb23b
Signed-off-by: helenyao <yaohelan@huawei.com>

Merge "Fix git submodule for openretriever"

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - [kvm-plugin]Modifying kernel modules

    Omitted the ovs kernel modules from kvmfornfv kernel modules for
    the plugin.

    Change-Id: Id907b829c843587c7fbd7914e19a243b77e7d5aa
Signed-off-by: Navya Bathula <navyax.bathula@intel.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "refstack: add manually method to let user can set its tempest.conf and defcore.txt"
  - refstack: add manually method to let user can set its tempest.conf and defcore.txt

    JIRA: DOVETAIL-394

    for refstack, userguide is listed in https://gerrit.opnfv.org/gerrit/#/c/33049/
    in CI, use the automate way to generate tempest.conf to let refstack run against SUT, i.e., defcore.tc001.yml
    will provide a way to let user can let refstack run against SUT manually, i.e. defcore.tc002.yml
    since the tempest.conf autometely generated may not satisfied with SUT, users can adjust its tempest.conf to let the defcore testcases pass.

    Change-Id: I5ed212c9c6d864d352d1c497ea039cc553461158
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Fix format error"
  - Fix format error

    Change-Id: I764c30f8b3a170e8428b3943e3341b4388fbd8a1
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Fix reporting tasks"
  - Fix reporting tasks

    - no need to specify `local_action` on `local` hosts
    - no need to delegate to `localhost` on `local` hosts

    Change-Id: I9e7843ce8ba414a786784943b8c253d615271233
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - dovetail tool: show progress during executing test cases

    JIRA: DOVETAIL-159

    1. It takes long time to execute test cases that most of users think it hangs there,
       so a progress is needed to show the test is running.
    2. add dynamic progress during execution
    3. it' s a fake progress only showing the test is alive,
       not to show the percentage of completion.

    Change-Id: I0294659f79e8e09d1bcdd36d8f391d933e35b635
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Add document about how to release QTIP Python package"
  - Add document about how to release QTIP Python package

    JIRA: QTIP-240

    Change-Id: Ie946504d9e52a889bc1dfe97248d45c205b1069f
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Add unit tests for parser

    It also fixes the corresponding case name in testcases.yaml.

    Change-Id: I2b93323a18bb192d9ad35823dc48b236cb6841b1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Merge "ixia: VLAN support without l3/l4 headers"
  - ixia: VLAN support without l3/l4 headers

    Remove dependency of VLAN headers on L3 and L4 protocols.

    JIRA: VSPERF-499

    Change-Id: Ic16dbbf2b503be7dd48a7bf55e45795bbb9f7e67
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Reviewed-by: Al Morton <acmorton@att.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>
Reviewed-by: Sridhar Rao <sridhar.rao@spirent.com>
Reviewed-by: Trevor Cooper <trevor.cooper@intel.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Merge "jumbo_frame: Add jumbo frame support"
  - jumbo_frame: Add jumbo frame support

    Add jumbo frame support for all packet forwarding applications
    inside guest for pxp testing. Enable jumbo frame support for
    OvsVanilla, OvsDpdkVhostUser, and Packet forwarding.

    Add minor fix for missing method issue when running packet
    forwarding tests. The get_version method was missing in
    the packet_forwaring core module.

    JIRA: VSPERF-501

    Change-Id: Ia99975f47c64259ed2566bde3c85b2779c309e80
Signed-off-by: Christian Trautman <ctrautma@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - change the url

    we need download the package from the http://artifacts.opnfv.org,
    instead of http://205.177.226.237.

    Change-Id: Ibf6b1caa8d0ad27aa144fd25aeb6dd8f3004067a
Signed-off-by: wutianwei <wutianwei1@huawei.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Merge "Fixed two tests that never had their networks removed on tearDown()"
  - Fixed two tests that never had their networks removed on tearDown()

    JIRA: SNAPS-56

    Change-Id: I43d47f59f5b15805dce425f148ec5c990055ca73
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Fix git submodule for openretriever

Change-Id: Iedc1bc40a57838225923c71a9097c814a2f9bbf9
Signed-off-by: Guo Ruijing <ruijing.guo@intel.com>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - [fuel-plugin] Add missing dependency for shellvar

    Add missing augeasproviders_core module into
    pre build stage as dependency for shellvar puppet type.

    JIRA: KVMFORNFV-77
    Change-Id: Ib06c7b08b35fab87b0faf9f946fcc9d630d825af
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Merge "Adding the submdules directory for openretriever"

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - KVMFORNFV: Grafana config for Packet Forwarding test cases.

    This patch is used for adding configuration file to opnfv grafana
    dashboard for kvmfornfv packet forwarding test cases as a part of
    daily job.

    Change-Id: If2f06d2c01a7f6863ae1aa25942c3197856d895b
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Implement a sample qpi report to show how to retrieve variables from benchmark results

    Change-Id: I479e4446c18d45d69d2f88db021f7739201104d9
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Normalize system info variables and report

    Change-Id: I5627b4e2fa2287a1880433c7f25d9a2d1874cc26
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Integrate openssl metrics for qpi calculate

    Change-Id: I7319cd9b49cb27ba4fa367e395ceb2caa543c06e
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Implement calculator PoC

    - use `mean` as default formula

    Change-Id: I236b46c1e52f3535fb6e954d324790b1421126bd
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - Chris Meyer stepped down.

    Change-Id: I765b1f79b98136aec0f63b3af8fb8377a9bb2adb
Signed-off-by: agardner <agardner@linuxfoundation.org>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Add flake8 examination to Bottlenecks

    JIRA: RELENG-211

    Add flake8 examination to CI pipeline for Bottlenecks.

    Change-Id: I14d8bd4fe288d1dedb7c23dd158fc8c3765bf309
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Update git submodules

* Update docs/submodules/bottlenecks from branch 'master'
  - Fix code style issues for specificed path

    JIRA: BOTTLENECK-100

    Fix code syle issues for the path flake8 specified before flake8
    check merged into CI pipeline.

    Change-Id: Iee59bada206fafd4740023e90d08a4b4a7a030db
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Update git submodules

* Update docs/submodules/sfc from branch 'master'
  - Complete sfc_one test

    JIRA: SFC-94

    We were only blocking one SF to test if the traffic was blocked but we should
    test both to be more rigorous

    Change-Id: If22a79350c97e0d59ea0a9451303efce21e3f285
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update git submodules

* Update docs/submodules/sfc from branch 'master'
  - Remove the extra logs we added

    Tacker plug-in does not have a problem anymore so we can remove the extra logs
    we added in case of failure

    Change-Id: I3b74d6caee9235ad2e8cc180757d0627770380c2
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Add VPP interface options support

    Interface options is needed for nosdn-fdio scenario to disable
    vlan strip offloading for enic.

    Change-Id: I7d7e3d7e6e0c822a13113911a41a3d076ecbd509
Signed-off-by: Feng Pan <fpan@redhat.com>