Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "correct arithmetic baseline"
  - correct arithmetic baseline

    These two number are reversed.

    Change-Id: I8d97820528e8b0bfa72cb0dfb596707f8cfd5a43
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "update run_ci.sh"
  - update run_ci.sh

    - change "qtip workspace create" to "qtip create"
    - set pod_name and scenario from env if not provided by user
    as options

    Change-Id: I0a7e1923c6e45a263147dd2f87a6a75c3751c65c
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/bottlenecks from branch 'master'
  - Add test name check function and cleanup

    JIRA: BOTTLENECK-158

    Add test case/story name check and cleanup environment option.

    Change-Id: I07609c089ca78b0d2760c09c0312d7d1106c815a
Signed-off-by: yuyang <Gabriel.yuyang@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "support cancel operation while signing in"
  - support cancel operation while signing in

    support the cancel operation in the
    https://openstackid.org/accounts/user/consent

    Change-Id: I06a1f130a3115774f2e88fc25dad522a7cf53e36
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - Merge "Add test case tempest_custom into the local database"
  - Add test case tempest_custom into the local database

    JIRA: DOVETAIL-429

    Test case tempst_custom is not in the initial local database. Add this test case
    into local database.

    Change-Id: I53d3f6ebdde7ff680e33faf8296551d81f3c0496
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Remove old GS-Cleanup Job from Apex"
  - Remove old GS-Cleanup Job from Apex

    This job template isn't attached to a job, so it doesn't even get
    executed; Further, artifact cleanup is take care of by
    'releng-artifact-cleanup-daily-{stream}'

    Change-Id: I3e4d0339650f0507b8a3cd1512c2ca643f4fe75a
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fixes blocking with daily

    Change-Id: I03cf0207075116de44ebde03429ab5b499db540b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Bugfix: fix the errors of onos_sfc"
  - Bugfix: fix the errors of onos_sfc

    1. Update the service type to "identity", "network", "compute" and
       "image", other than "keystone", "neutron", "nova" and "glance".

    JIRA: FUNCTEST-820

    Change-Id: I81b2311760fd717570561e6471525773378ad2f2
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fix iso verify build dir to absolute path

    Change-Id: I0c85806e5fa04a890a130d8106d96c7fb812e691
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Revert "Apex: fixes build directory passing for iso upload"

    This reverts commit ec2e44c72271cb78a00bebd32ceb43487ad176b5.

    Change-Id: I2f8db687df9cceaa50bf6a26de659ea70f70df45

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Find packages in setup.py

    Change-Id: I73c46d1c9bfaabcd7d2ba793d4c2e8244e549de1
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fixes build directory passing for iso upload

    Change-Id: Ifb1173a49066fd493c58f41ae22d4decc69e03f9
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Update test_vnf.py to support py3"
  - Update test_vnf.py to support py3

    Change-Id: I86dc83b1fc9205f7b8209d63e18439a7e05c646b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Remove former run_unit_tests.sh"
  - Remove former run_unit_tests.sh

    Depends-On: I934f4ac739d99d0cb29bea8c6aac6d6780b30901

    Change-Id: I67c8a25a2e712babf99e32fb4c049b0acfd2e44d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Yamllint on Pharos, Octopus, and SecuredLab Repos"
  - Yamllint on Pharos, Octopus, and SecuredLab Repos

    These repositories are starting to contain more and more yaml files.
    Ensuring yaml in these repos is valid is important to ensure other jobs
    don't break further on.

    Change-Id: I97de9f59ab993fb9dd9cb2efa5784af3850783a6
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Test decorators.py in testenv:py35"
  - Test decorators.py in testenv:py35

    Change-Id: I91d5b04f105cf41bef799eccdaabf89cb0440747
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Turn Sphinx warnings into errors"
  - Turn Sphinx warnings into errors

    Change-Id: Iefc223a9fa6dbc4e9476aca84b3df4304058862b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - APEX: fix permission for rm in iso verify

    Change-Id: Icbecbb39465a3cf4ef4ea3e8f5901561a4874c51
Signed-off-by: Feng Pan <fpan@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Update functest jjobs to run tox"
  - Update functest jjobs to run tox

    Depends-On: I934f4ac739d99d0cb29bea8c6aac6d6780b30901

    Change-Id: Ic036cc9cc8377398efbb5eda4f90bb5dcc4e75a5
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Fix dependencies errors in iso verify"
  - Fix dependencies errors in iso verify

    Change-Id: I6f169d6d89a0468c6c9208ba448c4da0a6f776ee
Signed-off-by: Feng Pan <fpan@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "APEX: iso verify fixes"
  - APEX: iso verify fixes

    The current implementation of iso verify can potentially block indefinitely
    and/or return incorrect string matching results. This patch changes iso verify
    to use log file instead of tcp serial console.

    Change-Id: I89accc9c2165836a23a21a223fa33e920c529772
Signed-off-by: Feng Pan <fpan@redhat.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Updates the real time kvm kernel"
  - Updates the real time kvm kernel

    Reduce the real time kvm kernel by stripping debug info.

    Change-Id: I33335b8a9bd241ee83bc6f30bb2e819403bad491
Signed-off-by: davidjchou <david.j.chou@intel.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Merge "Fixed error in ansible_utils_tests.py and added ansible helper method to the OpenStackVMInstance class."
  - Fixed error in ansible_utils_tests.py and added ansible helper
    method to the OpenStackVMInstance class.

    Test error was due to the image configuration having the incorrect
    user applied. The helper method will make it easier for adhoc
    ansible playbooks to be applied to running instances.

    JIRA: SNAPS-83

    Change-Id: I6b229e0adb836dd3d5ea7b468d38d93f880589a2
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Fix typo in setup.py

    It forbids gating in functest.

    Change-Id: I3f0b943678ee4af869073b56ca1235da23d98b1a
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Check python3 support when running tox"
  - Check python3 support when running tox

    It only tests testcase, feature and odl which supports python3.
    It creates a temporary requirements.py3.txt which will be safely removed
    when we stop using subprocess32 [1] and robotframework-sshlibrary.

    [1] https://jira.opnfv.org/browse/FUNCTEST-827

    Change-Id: I92021dcb4aca03f64e2441e3bcff34675a3ae879
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Generate api doc when running tox"
  - Generate api doc when running tox

    Change-Id: I78b18981d9f916e6174d44c6280706e404c7c9f2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Update apidoc to conform with vnf module"
  - Update apidoc to conform with vnf module

    It completes [1].

    [1] https://gerrit.opnfv.org/gerrit/#/c/34467/

    Change-Id: Ia4a850b740764774b926d5cdb92c8813bc93f9e4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Analyse code when running tox"
  - Analyse code when running tox

    It filters all messages to ease reading the report.

    Change-Id: Iab55bc71cb6026edde29fb9f084a07b2dedf564f
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Check style when running tox"
  - Check style when running tox

    Change-Id: Idedf823a1572c40692e445694461b4196b75275d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Delete line breaks before binary operator"
  - Delete line breaks before binary operator

    They are considered as warnings by flake8.

    Change-Id: I84ffedc41c24133aa0d45e312bb095526aa1095b
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Sort keys when dumping json"
  - Sort keys when dumping json

    Otherwise dumping them could break some unit tests as they are
    unordered collections [1].

    [1] https://build.opnfv.org/ci/job/functest-verify-master/4122/

    Change-Id: I108e946926ae9690cf2421e565f2bb81500f9160
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Ignore .tox"
  - Ignore .tox

    Change-Id: I50e39057edbbfadd57ea912f1f1ba32389639809
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Tox utility to run unit tests"
  - Tox utility to run unit tests

    Now run_unit_tests.sh only calls tox to allow merging.
    It can be safely deleted as soon as the related jjob is updated.

    It also removes test_logging.ini.

Co-Authored-By: Cédric Ollivier <cedric.ollivier@orange.com>
    Change-Id: I934f4ac739d99d0cb29bea8c6aac6d6780b30901
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Update requests as defined in releng"
  - Update requests as defined in releng

    Change-Id: I808cb796d18cf7f193a37e7b7d9073a037bb2ae7
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Add baro_tests as requirements"
  - Add baro_tests as requirements

    It also stops cloning it when building the docker container and updates
    the related unit tests.

    It bypasses the bug when importing collectd [1].

    [1] https://jira.opnfv.org/browse/BAROMETER-79

    Change-Id: Ie9f8ea2b3c95d6b1f5405d76b018cdcb62343a58
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Install releng via requirements.txt"
  - Install releng via requirements.txt

    It should work in all branches if the right requirements.txt is
    selected.

    Change-Id: I9c46cd52496528835a92e371320debf92117b4fa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Set default value for CONFIG_FUNCTEST_YAML"
  - Set default value for CONFIG_FUNCTEST_YAML

    It calculates via the full path of env.py.

    Change-Id: Ief958833f5116cdb116d0153d85a0ae03063ec5c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Fully cover pytest_suite_runner.py"
  - Fully cover pytest_suite_runner.py

    Change-Id: I766afb1d5c6ef53a5b551539662ee363ae8eadee
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Precise self.result in pytest_suite_runner.py"
  - Precise self.result in pytest_suite_runner.py

    It also adds the related unit tests.

    Change-Id: I8325bd9a55c69b229e3c48a9e64aa963e685e03d
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Print stack when catching exceptions in run_tests.py"
  - Print stack when catching exceptions in run_tests.py

    Change-Id: Id94475dd519ce04b87da470f6e6bb5a1c1aa2d75
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "dovetail: conditional steps added to fuel-bgpvpn scenario"
  - dovetail: conditional steps added to fuel-bgpvpn scenario

    JIRA: DOVETAIL-432

    1, only run against fuel os-odl_l2-bgpvpn-ha scenario
    this can reduce the CI/pod time resource
    dovetail test cases by now (refstack, ha, ipv6, bgpvpn)
    2, the conditional steps have been successed tested on compass
      to remove the introduce of
      https://gerrit.opnfv.org/gerrit/#/c/34327/
      conditonal steps look more simple and understandable

    Change-Id: I315a789160b8173274b1c1ef916073ced7d5e91b
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "No need to list the other nodes system information"
  - No need to list the other nodes system information

    Change-Id: Ia1d4da97ac30c767446be964f33a6edb1af756e4
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - ci: update to push RPMs to aritfacts.opnfv.org

    Change-Id: Ia8066a35a4538b9265a44d60c5f6c7d10757c34e
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Replace CONST.* by getattribute/setattr for refstack"
  - Replace CONST.* by getattribute/setattr for refstack

    Directories affected:
     - functest/opnfv_tests/openstack/refstack_client
    and respective unit test

    JIRA: FUNCTEST-796

    Change-Id: I7f7047d44d71e82bcc1f66ec0b760ff30a13dbd5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "dovetail: offline support by making users to download docker images from artifacts"
  - dovetail: offline support by making users to download docker images from artifacts

    JIRA: DOVETAIL-433

    1) bugfix of cleanup by using existed dovetail cleanup scripts, see logs
    https://build.opnfv.org/ci/view/dovetail/job/dovetail-functest-artifacts-upload-master/3/console
    2) opnfv/testapi:latest and mongo:3.5 images are needed for dovetail, added.

    Change-Id: I647f7152b0122a5b792f6f18efbae0e537b81332
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - hosts info config in container

    JIRA: DOVETAIL-435

    in some SUT, there's a need to config hosts <domain name>:<ip> info
    in container /etc/hosts, ortherwise, SUT service will not be used.

    usage:

    1,for dovetail directly running, cd ${DOVETAIL_HOME}/userconfig
      vim hosts.yaml
      sth like
      hosts_info:
        - domain_nameA:192.168.33.101
        - domain_nameB:<some IP>
    2,for dovetail container running, first get inside the container,
      cd /home/opnfv/dovetail/userconfig
      vim hosts.yaml
      same as 1.

    Change-Id: Ic5d87df3d78c0fa1d08c4e972c0fc97e61b906e9
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Added PyCharms files to gitignore."
  - Added PyCharms files to gitignore.

    Change-Id: I09e9aedd80262cf75b0c0549552fc90517a24bf0
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "fix conditional step label"
  - fix conditional step label

    see error log

    https://build.opnfv.org/ci/view/compass4nfv/job/compass-os-nosdn-nofeature-ha-baremetal-daily-danube/57/console

    Change-Id: I925658a3f2c20e51153b4c6298e271e50a5673b5
Signed-off-by: MatthewLi <matthew.lijun@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "add signout funcationality"
  - add signout funcationality

    Change-Id: Ie101f07f0eb406eee4e1c7daa14b07aaaf554904
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "increase monitor number in cases."
  - increase monitor number in cases.

    change cases to multi-monitor mode and improve monitor accuracy.

    JIRA: YARDSTICK-397

    Change-Id: I6840423dd83899b769df76fbee808f9bf5dc4cfd
Signed-off-by: HuanLi <lihuansse@tongji.edu.cn>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Missed an update to swap neutron out for openstack cli"
  - Missed an update to swap neutron out for openstack cli

    APEX-432

    Change-Id: I787ce844d0d585f55d2267a57642e35f2a47bd40
Signed-off-by: Dan Radez <dradez@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - pod configs are not going to live in directories

    They will be called pod[#].yaml
    so we look for that instead

    Change-Id: If36d347cf7bef3108a2d50d74a84de1a07b5bdd2
Signed-off-by: agardner <agardner@linuxfoundation.org>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Activating SDNVPN test cases for master.

    Change-Id: I4ba995d412bfeadc708d5a3c643576097867d1ac
Signed-off-by: Tim Irnich <tim.irnich@ericsson.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Add the function of getting endpoint

    Functest is trying to leverage SNAPS-OO library to replace some
    utility functions, in which def get_endpoint is called by testcases
    onos, odl, multisite and cloudify_ims.

    JIRA: SNAPS-78

    Change-Id: Icb2778e0337a5d4246762ac3037773b39d5d554d
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Merge "Updated license information"

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - Merge "makefile: update collectd Makefile with intel_pmu configuration"
  - makefile: update collectd Makefile with intel_pmu configuration

    Update Makefile with intel_pmu collectd plugin required
    capabilities and environment variables set.

    Change-Id: Ifd9f53f4f87ea802ff280a611831f1dc8e2fb177
Signed-off-by: Roman Korynkevych <romanx.korynkevych@intel.com>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - Merge "userguide: update barometer build and install"
  - userguide: update barometer build and install

    Update the userguide and the build scripts to only build on supported OSes and
    to check if collectd is already installed on the system.

    Change-Id: I87cab22a06f8c1104aae25027aedfa3e534c06b3
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - VES plugin: update to latest VES event schema

    - Updated the plugin to lates VES schema
    - Migrated VES plugin to python3 (with backward compatibility)
    - Fixed issue with CPU total calculation
    - Fixed VES documentation

    Change-Id: Ic8b0419146a9c75a48907f39adda1351f3b3bc73
Signed-off-by: Mytnyk, VolodymyrX <volodymyrx.mytnyk@intel.com>

Update git submodules

* Update docs/submodules/sdnvpn from branch 'master'
  - Merge "Put the ubuntu images in new directory"
  - Put the ubuntu images in new directory

    To adopt the new change of Functest[1], all images are put under
    ${HOME}/functest/images. Users are allowed to
    pre-download the images and map the local folder to the new directory.

    [1] https://gerrit.opnfv.org/gerrit/#/c/34033

    Change-Id: Iafee8825af77dfce74ad2ace3346e3f2b70a7c96
Signed-off-by: helenyao <yaohelan@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Replace CONST.* by getattribute/setattr for rally and tempest"
  - Replace CONST.* by getattribute/setattr for rally and tempest

    Directories affected:
     - functest/opnfv_tests/openstack/rally
     - functest/opnfv_tests/openstack/tempest
    and respective unit test

    JIRA: FUNCTEST-796

    Change-Id: I963f5947663f0b660337f3304defb697f5d338f3
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Download images and map the folder to container"
  - Download images and map the folder to container

    This patch is to accommadate with the change in patch[1]
    Before running the Functest Docker container, downloading all required
    images first and map the folder to the container

    [1] https://gerrit.opnfv.org/gerrit/#/c/34033

    Change-Id: I617bd988caf1fd354cf9ef675661d40742b693c6
Signed-off-by: helenyao <yaohelan@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Define Runner class"
  - Define Runner class

    It simply converts run_tests.py's functions to Runner's methods.
    This proposal could be enhanced in a second step to fully leverage on
    object programming.

    It defines as instance variables the former static variables to allow
    multiple runs (it's mandatory for unit testing).

    All false positives in unit tests are fixed but run_tests.py is still
    not fully covered.

    Change-Id: I8f91c132aa8b2248041f31e46238dd5598344d34
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Modify how to disable logging in unit test."
  - Modify how to disable logging in unit test.

    Logs are only disabled when the unit tests are run from cmdline.
    It allows running them via pytest_suite_runner.py and printing
    their results to functest.log.

    You should notice that the unit test must disable the logger of the
    tested TestCase (e.g. testcase.TestCase.logger.disabled = 1). Otherwise
    false logs will be printed in console.

    Change-Id: Ic171e4575c8bab2e52db1897ae026b61a03b6247
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Documentation for unit test project"
  - Documentation for unit test project

    JIRA: FUNCTEST-594

    Change-Id: I2ae821f4bc2283d736a635357aea89dc95a7c839
Signed-off-by: ashishk1994 <ashishk.iiit@gmail.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Use StringIO in odl.py"
  - Use StringIO in odl.py

    It avoids creating and removing the temporary file to dump robot output.

    Change-Id: Ia5ea66e76ffb8b8327f2da938f177e8ef4c61dd4
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Move few local ODL SFC confs to global functest confs"
  - Move few local ODL SFC confs to global functest confs

       - Currently ODL SFC maitains image url, name, format in its local config.yaml
       - This makes it complicated to override some of the params for other architecture
       - like aarch64. This should help overriding some params during functest env prepare
       - based on arch

    Change-Id: I81a62566634e0bd87a53f5d0431492468a5f478c
Signed-off-by: Vijayendra Radhakrishna <vradhakrishna@mvista.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Replace CONST.* by getattribute/setattr for cli"
  - Replace CONST.* by getattribute/setattr for cli

    Directories affected:
     - functest/cli/commands
    and respective unit test

    JIRA: FUNCTEST-796

    Change-Id: I2ad721819d4b8f97098c589c3b5ed3dcc945409d
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - bugfix: extra fields are added when push results

    extra fields like 'carriers' & 'miss_checks' 'db_key'
    are added when pushing result to TestDB

    Change-Id: Ic8d0751bca14b3b3260df42c0f4f07456c9d5e05
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Remove "plan" module. Replaced by "project""
  - Remove "plan" module. Replaced by "project"

    Change-Id: I5da2a3cf366e4e5a67b68e34db62219587d923e5
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Add cli-prompts while creating workspace"
  - Add cli-prompts while creating workspace

    Change-Id: I954b2fcf38e89f875f6b52cde63031fc663491dd
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - vpp_doc_fix: Modify VPP documentation to be current

    Update VPP installation documentation and add note for issue
    seen with some installs.

    Change-Id: Ib1a2bb5f7b6bb07ddff2ea5c7d2ca9f9100250dd
Signed-off-by: Christian Trautman <ctrautma@redhat.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Bumped ansible version to 2.2.2.

    Change-Id: Ibdf633bd475cc295f53e8236b1938a3354cb4f99
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>

Update git submodules

* Update docs/submodules/dovetail from branch 'master'
  - update the IRC in INFO file for IRC channel error

    JIRA: DOVETAIL-434

    revise the error.change opnfv-testperf to opnfv-meeting

    Change-Id: I70820b202929bbfbdbff2ee104dcbc5601d53357
Signed-off-by: hongbotian <hongbo.tianhongbo@huawei.com>

Update git submodules

* Update docs/submodules/availability from branch 'master'
  - Merge "Removal of Edgar StPierre from Committers List"
  - Removal of Edgar StPierre from Committers List

    Change-Id: I5007f9f8f1ec1edfcd34848c3869fc68fd6a2af2
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Add a new directory to hold pre-downloaded images"
  - Add a new directory to hold pre-downloaded images

    Put all images in the new direcotry. If users want to use the
    local image, map the local directory to the ${HOME}/functest/images

    Change-Id: I0d309b93f52b3da23d6130056f1a19907313ef68
Signed-off-by: helenyao <yaohelan@huawei.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Implement sunburst badge for QPI"
  - Implement sunburst badge for QPI

    Change-Id: Iccdec7b0ac223a38c846f73adc6bd0e53db3723b
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/ves from branch 'master'
  - WIP
    Script and blueprint for demo that uses ONAP VNFs.

    JIRA: VES-11

    Change-Id: I1f5d2c2bb87a1e24f5cc2eb788bfb3f1efed9e46
Signed-off-by: Aimee Ukasick <aimeeu.opensource@gmail.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Add VBMC double check"
  - Add VBMC double check

    Sometimes the VBMC devices don't all start and stay started
    This checks that they are all running before starting a deployment

    Change-Id: I3c69d31549798a5837475d10b8a365bb0e5c9a3d
Signed-off-by: Dan Radez <dradez@redhat.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "dep updates related to removing openstack-tripleo"
  - dep updates related to removing openstack-tripleo

    - configure-vm requires libvirt-python
    - removing some references to openstack-tripleo
    - updating dep urls to artifacts.opnfv.org

    JIRA: APEX-462

    Change-Id: I5ed7f7ad2f2c016fcbc1157b29c2c0e4c5d9b4a7
Signed-off-by: Dan Radez <dradez@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fix daily scm gerrit refspec to null

    Change-Id: I0a8d51c7e0a586469cfe25d0610f078fd937c9ba
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fix daily scm passing and yardstick deploy blocking

    Change-Id: I5b8fd2784cbf78aec17bab89c9cd1cbf82324739
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: fix daily scm and functest job blocking with deploy

    Change-Id: I355745e42c510029ffc314fa03eb1a5ca1e3e74a
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Use logger instead of printing in console"
  - Use logger instead of printing in console

    It modifies pytest_suite_runner.py to dump unit test results in
    functest.log via logging.

    Change-Id: Ic4e7567c5e52e00ad0e485ccb070029b135041b2
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Build Timeout Wrapper for Yardstick

    Yardstick builds are hanging and not being caught for 19+ hours. Using
    the build timeout plugin we should be able to quickly stop these builds
    and let the project know much sooner there is an issue with their
    builds.

    The default timeout is set to fail if the job takes longer than 30 minutes.
    This can be adjusted later if the time is too long or too short.

    ssh-agent-wrapper is included as it is the default from globals, and
    defaults are superceded by fields added to jobs.

    Change-Id: I9529ab7b6ab8819ceb91694fefbb4ecb3f5cf81c
Signed-off-by: Trevor Bramwell <tbramwell@linuxfoundation.org>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Adding mpolenchuk@mirantis.com to committers list

    Change-Id: I973810e55ea24ba879fd91ac47388d52d43867e2
Signed-off-by: agardner <agardner@linuxfoundation.org>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Remove check_success_rate"
  - Remove check_success_rate

    After the introduction of is_successful method
    in TestCase class, this is not needed anymore.

    Change-Id: I70f6f9e10495601cd5443467347b97efe27b81a3
Signed-off-by: jose.lausuch <jose.lausuch@ericsson.com>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - Merge "Optimizing the code and uploading ftrace logs to artifacts"
  - Optimizing the code and uploading ftrace logs to artifacts

    This patch is used to exclude execution of disable_trace.sh as
    ftrace will be disabled during post-execution of cyclictest
    through yardstick. Also includes uploading verify logs to
    artifacts when ftrace is enabled for debugging.

    Change-Id: I4674f2b9c03274eb2a96b3258a718c9f46419022
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update git submodules

* Update docs/submodules/kvmfornfv from branch 'master'
  - To update cyclictest latency threshold values

    This patch is used to update latency threshold values for execution of
    cyclictest test cases through yardstick using kvmfornfv built kernel rpm.

    Revert "Revert "This patch updates latency threshold values""
    This reverts commit 77e6660ea78c5934e4b606a5342c4e0e64be1de6

    Change-Id: I3df6da4dd5bf0e393fdfeea71e8bbe688e794a89
Signed-off-by: Gundarapu Kalyan Reddy <reddyx.gundarapu@intel.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - support showing user's specified contents after signin

    Change-Id: Ia8897860757a2395873ff6972a508c38d7139854
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - add signin web to TestAPI

    Change-Id: I4d39a8561c8ebd3238a495e5799fd43fb1a508b9
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Fix 2 issues related to logger in pytest_suite_runer.py"
  - Fix 2 issues related to logger in pytest_suite_runer.py

    logging.ini requires the full name otherwise all log messages are lost.
    Calling basicConfig() is useless as it has been correctly configured by
    run_tests.py before.

    Change-Id: I03663c01f795b1b844239a9e24379faa529829aa
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Allow running unittest.TestCase via run_tests.py"
  - Allow running unittest.TestCase via run_tests.py

    pytest_suite_runner can run any unittest.TestCase thanks to name passed
    as run arg. Here is the related functest/ci/testcases.yaml:

      run:
          module: 'functest.core.pytest_suite_runner'
          class: 'PyTestSuiteRunner'
          args:
              name: 'functest.tests.unit.odl.test_odl'

    Change-Id: I7c2c611c4afbad1e52bfdca4a3288ccc21491389
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - ci: update script permissions

    Change-Id: Id6db827036b99603928f4f468d9febb591703ec2
Signed-off-by: Maryam Tahhan <maryam.tahhan@intel.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - bugfix: get_security_group_by_id always return first element

    add check on id before return value
    fixed kwarg into the neutron.list_security_groups to the correct one 'id'
    added unit test to ensure this function always works as designed

    JIRA: SNAPS-82

    Change-Id: I965e1dd54fd1efa8c2d7f6efb87c78ab24cca0e5
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update git submodules

* Update docs/submodules/pharos from branch 'master'
  - Pharos Dashboard: Add manual resource management

    Dev Pods are now managed by checking the "Dev pod" box in the Admin
    Panel. This commit also fixes a dead image URL and the oauth process for the
    dashboard URL.

    Change-Id: Ic94160eb3a4504a369606261440df0e5354ac027
Signed-off-by: maxbr <maxbr@mi.fu-berlin.de>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Clean test-requirements.txt"
  - Clean test-requirements.txt

    Now only the mandatory requirements related to unit testing are listed
    in test-requirements.txt.

    Change-Id: I2f17a9e18e90d779ddc80b1ace9ac770a76c3385
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Updated license information

Added the SPDX license according to recommendation from LF.

Change-Id: Ic0fbdde46d28ef6bfe8ccf975572403d0356e170
Signed-off-by: Sofia Wallin <sofia.wallin@ericsson.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Fix the opera ims instance initialization error"
  - Fix the opera ims instance initialization error

    Change-Id: I50f0e1ba91c8c4adcf407d493fb86d9089554cc5
Signed-off-by: helenyao <yaohelan@huawei.com>

Update git submodules

* Update docs/submodules/compass4nfv from branch 'master'
  - FIX compass-core vm panic issue

    JIRA: -

    Update compass-core vm cpu mode in libvirt xml to let
    compass-core vm support most instruction set that host support.

    Change-Id: I654672f441c18e0da87509d3c492ceae2bf9ba95
Signed-off-by: QiLiang <liangqi1@huawei.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - Merge "fix the k8 core bundle and deployment failed."
  - fix the k8 core bundle and deployment failed.

    Change-Id: I65cf597bbc4c68bd80d26ed0d8729127a4e30863
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>