Update git submodules

* Update docs/submodules/storperf from branch 'master'
  - Expaning the Verify Scope
    Adds a new verify job that does docker-compose build and up,
    and checks for HTTP responses from each of the endpoints.

    Change-Id: Idcb74c8b8337a74a2b624f93ea6b34707d7e5516
    JIRA: STORPERF-199
Signed-off-by: mbeierl <mark.beierl@dell.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Apex: Fixes bug with blocking

    We have blocking so that deploy wont run while another deploy or
    functest is running.  However there is an issue where after a deploy
    completes, the next in line deploy starts at the same time as the
    functest starts for the previous deploy.  This patch adds a quiet period
    to the deploy job of 30 seconds, which hopefully will offset the start
    time between the two and resume correct blocking.

    Change-Id: Id94d075f2d2e48952a5c2186eeb81d09bb68c49b
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Standardized TRex client library path

    - path should be defined via TREX_CLIENT_LIB environmental variable e.g. TREX_CLIENT_LIB=/opt/trex_client/stl
    - refactored unit tests

    Change-Id: I18767e48daf774432c010f1b88d18a4f0ee4e156
Signed-off-by: Maciej Skrocki <maciej.skrocki@intel.com>
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Skip configuration of hugepages for aarch64

    Change-Id: If4d2fb7bd6984d9840158d24de43c894b9598b5f

Update git submodules

* Update docs/submodules/storperf from branch 'master'
  - Isloating the keyserver line to see if it is the problem

    Change-Id: Ia614fb0383b4396c2da7b0ee8e31dcbe3fd318b3
Signed-off-by: mbeierl <mark.beierl@dell.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "utils/fetch_os_creds.sh: Fuel: Robust creds fetch"
  - utils/fetch_os_creds.sh: Fuel: Robust creds fetch

    In case ctl01 node is down, the current mechanism will return
    invalid data (the string "Minion") instead of a valid controller IP.

    Since "keystonercv3" is present on all controller nodes at </root>,
    adjust the credentials fetch to use the first online controller node.

    Change-Id: I4ba15bb40d465b112c5e9fc827e3e2a69e671b26
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: states: maas: Batch apply linux state

    Change-Id: I62f96c93b67c79732dc8737ff5746475eb5259a6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Bring in Opendaylight support

    Change-Id: I3d3e729447a4d8e79fce486a7fc68f8f72675e3c
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Obtain pod_name by CONST instead of get function"
  - Obtain pod_name by CONST instead of get function

    JIRA: FUNCTEST-763

    Change-Id: Id334745a1eac8b933d77f9cb36a506a02366d760
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "use Calipso verify.sh for easier control of verification"
  - use Calipso verify.sh for easier control of verification

    Change-Id: I322e04959b8ad693c6e2be59e539c3b3d9e6d7bc
Signed-off-by: yayogev <yaronyogev@gmail.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Prevent KeyError during main args parsing"
  - Prevent KeyError during main args parsing

    Change-Id: Ia340c79c82b891e921379c7c0186eaa238117b13
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Fixed 1C/2T configuration issues.

    Change-Id: I361d88043076c2f901ff6df22f2849edc7559ba0
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Patch Read aarch64 architecture"
  - Patch Read aarch64 architecture

    Architecture is exported as POD_ARCH

    Change-Id: I62631c165d1805163204a83d6019a4a3b0000855
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - bug fix download_images.sh

    when xz the downloaded file, if the uncompressed target file already exists
    it exits with status 1 and breaks the gate

    Change-Id: Ie97ff34e6522af48c799e7c8c97dc3310222e683
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "storperf: Create daily job for storperf"
  - storperf: Create daily job for storperf

    Change-Id: I999640281d8e15132c9024e25e43122d2a12baf7
Signed-off-by: Fatih Degirmenci <fatih.degirmenci@ericsson.com>
Signed-off-by: mbeierl <mark.beierl@dell.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Rebase after MaaS retry got upstream

    Change-Id: I321fcb4aa77ebcb4595a9468c2257fef8b9a8ed6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Add reporting results for Danube 3.0"
  - Add reporting results for Danube 3.0

    Change-Id: I8424a5469cdd1d0fa7d430b64a6f13c88b729d8b
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Integrate functest with ARM Architecture"
  - Integrate functest with ARM Architecture

    Reads architecture of first compute node found on MCP installer
    and sends it as env variable when creating the conatiner.
    It is needed by https://gerrit.opnfv.org/gerrit/#/c/39991/
    JIRA: ARMBAND-279

    Change-Id: I7eec485507bd182190e95c0478182f506db4c821
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Functest Doc: first update for Euphrates - move part of the dev group to the testing document - move reporting into user guide - update logs - introduce alpine - introduce functest API - split documents per chapter"
  - Functest Doc: first update for Euphrates
    - move part of the dev group to the testing document
    - move reporting into user guide
    - update logs
    - introduce alpine
    - introduce functest API
    - split documents per chapter

    Change-Id: I08268091ce50309e891a648333da2054e902bcea
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Added means to override the RC file credentials."
  - Added means to override the RC file credentials.

    This has been done primarily to support tests using SNAPS-OO

    JIRA: FUNCTEST-847

    Change-Id: Icf02c085a95c20d4088e5aafd6380c70689a4ee0
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Fix to a UserSettings pydoc explaination of an attribute.

    Change-Id: I7937c8fbfc1537ad70bd5bf9a657c52c600c1de8
Signed-off-by: spisarski <s.pisarski@cablelabs.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Merge "Grant the new user to os_creds.project_name"
  - Grant the new user to os_creds.project_name

    For the test test_create_admin_user, the new user is
    granted to the project "admin", so the role retrieval
    is None with os_creds.project_name, which is not "admin".

    Change-Id: I840d81ec83a72fc913edef8d4200223dfa2eca39
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/snaps from branch 'master'
  - Get the correct endpoints URL based on OS_REGION_NAME env property

    It also ignores *.pyc.

    Change-Id: I94a5e297108b839fd6d2811faa34eed3023c0e3a
Signed-off-by: Laurent Strullu <laurent.strullu@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - clean set-functest-env

     - remove useless parameters when calling download_images.sh
     - add traces

    Change-Id: Iecb3516b53e572ae93ba411fc9c23b691be26e69
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Fix the tempest error when creating snapshot"
  - Fix the tempest error when creating snapshot

    Change-Id: I9682f174a835d2bdf1ef3da01e369037e5ad7247
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/sfc from branch 'master'
  - Replace artifacts.opnfv links by docs.opnfv links

    artifacts.opnfv is not used anymore. We are using now docs.opnfv

    Apart from that, I removed the OVS-NSH workaround explanation as we don't use
    it anymore

    Change-Id: Iaf4f2d97a4252754f5b22709aef653fff0777eae
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update git submodules

* Update docs/submodules/doctor from branch 'master'
  - Specify the filename for 'w' filemode

    FileHandler use 'a' mode in default for writing the file.

    Change-Id: Ie19d80e5ff286da2722634787dcffe36234c0119
Signed-off-by: dongwenjuan <dong.wenjuan@zte.com.cn>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Add Rally scenarios for telemetry"
  - Add Rally scenarios for telemetry

    Ceilometer scenarios were added.

    Reasons for testcase blacklisting:
    - Deprecated ceilometer client used by Rally. This depends on the
      confuguration of the system, currently it seems to affect all
      installers.
    - A bug in ceilometer client (already fixed and merged in OpenStack
      repository).

    JIRA: FUNCTEST-849

    Change-Id: I0bd7e1e9817538165b7b9705bcec213d7d275359
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Ensure that aarch64 patch can be applied

    It simply creates a new testenv.

    Change-Id: I2675d1b3240a59fa985bd91f979efe1896c3d605
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Fix aarch64 patch

    Change-Id: I7915f5f82184b431510d7a2fc8945355fa63ec0c
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>
  - Download images from marketplace.openbaton.org:8082

    LF admins opened port 8082.

    Change-Id: I57a2beff32f0a346855968c4229dae4487ccbd85
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Adjust the schedule of daisy baremetal jobs"
  - Adjust the schedule of daisy baremetal jobs

    Now the functest NFV testcases only run in nosdn-nofeature
    scenario. So we adjust the schedule to leave more time for
    debugging on these testcases.

    Change-Id: I37425a86c7359b57cb7048dc1339acb7ea8cb525
Signed-off-by: Alex Yang <yangyang1@zte.com.cn>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Merge "opnfvresultdb: Update data reported to result DB"
  - opnfvresultdb: Update data reported to result DB

    Data reported to result DB were updated to comply
    with recent API version and requirements.

    JIRA: VSPERF-488

    Change-Id: I6ab02ea54d99099e88b0d5ab6e9745ee8297f544
Signed-off-by: Martin Klozik <martinx.klozik@intel.com>
Signed-off-by: Mars Toktonaliev <mars.toktonaliev@nokia.com>
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Reviewed-by: Al Morton <acmorton@att.com>
Reviewed-by: Christian Trautman <ctrautma@redhat.com>
Reviewed-by: Sridhar Rao <sridhar.rao@spirent.com>
Reviewed-by: Trevor Cooper <trevor.cooper@intel.com>

Update git submodules

* Update docs/submodules/daisy from branch 'master'
  - Update all-in-one VM CPUs from 4 to 8

    By testing we found that all-in-one VM needs more CPUs, otherwise
    , we encountered high probability failure during kolla deployment.

    Change-Id: I4ee798c9427c61a696bc8ec33ba4bc72fafcebba
Signed-off-by: Zhijiang Hu <hu.zhijiang@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "temporary switch of opnfv/functest-* to ollivier/functest-* for alpine"
  - temporary switch of opnfv/functest-* to ollivier/functest-* for alpine

     - better requirement management on ollivier docker hub
     - add feature and vnf docker (components could be added but as they could be
     very long (~ > 3h), we focus on shorter tests for the moment (need testcase
    promotion mechanism to keep the control on overall test duration)

    Change-Id: Ia8130dba716a465cd9feaaac32eabb4534cbe031
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "bugfix: malfunction of scenario equal check"
  - bugfix: malfunction of scenario equal check

    1. bugfix equal check with[] will return list[false, true],
       and always True in next step check
    2. in assert_res() leverage '==' will never assert even if
       they are not equal

    Change-Id: I683e3489d45b98b508f8ab8b6ef268ca9a1ebd5f
Signed-off-by: SerenaFeng <feng.xiaowei@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Add pod description file support"
  - Add pod description file support

    JIRA: BOTTLENECK-178

    Need to add pod descrition file for Bottlenecks to be installer-agnostic

    Change-Id: I100022ff1fcdaabe800492649c138dfe9fce55c2
Signed-off-by: Yang (Gabriel) Yu <Gabriel.yuyang@huawei.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "MaaS: commissioning/deployment retry"
  - MaaS: commissioning/deployment retry

    While at it, parametrize max attempt number in maas state's "wait_for",
    and reduce retries count for certain simpler tasks.

    Change-Id: I3ac2877719cdd32613bcf41186ebbb9f3f3aee93
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "ci/deploy.sh, states: bash debug, continue on err"
  - ci/deploy.sh, states: bash debug, continue on err

    Since we don't `set -e` in state files, applying each state will
    always succeed unless the last instruction in the state fails.
    Make this uniform by always succeeding in applying the state.

    While at it, enable bash debugging logs, for better readability
    of deploy log files.

    Change-Id: I3cf4886f6d73c6fd1380df1a4e1413334bec1701
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - [baremetal] Bring in opendaylight scenario

    Change-Id: I3a9bb25fc7514055da588b9047f61af178eff222
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Some Optimizations

    - remove container and image without -f
    - remove duplicated code from verify_storage.sh, replaced by
    the script launch_containers_by_testsuite.sh
    - move the common sentences from periodic.sh to
    launch_containers_by_testsuite.sh
    - add 'QTIP' as prompt for print messages

    Change-Id: Ia9aa61a3b60c1049af3499a06f2c6cd0dc181552
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - states/maas: rm Ubuntu boot entry on EFI systems

    MaaS relies on IPMI to set boot order to PXE first; however
    on systems with buggy firmware or without full IPMI support,
    that fails, leading to booting Ubuntu from hard disk instead.

    Work around this by clearing any previous Ubuntu boot entry
    from board flash via `efibootmgr`.

    Change-Id: I531d4bcb9f8d45740764f0dbab8fda49fbffac7e
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Change destination of snmp mibs files from /usr/share/mibs/ietf to /usr/share/snmp/mibs, and create symbolic link from ietf to snmp/mibs."
  - Change destination of snmp mibs files from
    /usr/share/mibs/ietf to /usr/share/snmp/mibs,
    and create symbolic link from ietf to snmp/mibs.

    Change-Id: Icf3ff3659f63222cc3a5e8f1f93fe183a2b86f45
Signed-off-by: jhinman1 <john.hinman@intel.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - salt-master: Increase command timeout to 15s

    Change-Id: I85221e65823780063b127298264a0087b59ac8a4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Add common openstack opertation scenarios: volume & floating ip"
  - Add common openstack opertation scenarios: volume & floating ip

    JIRA: YARDSTICK-781

    This patch adds some common openstack opertation scenarios

    Change-Id: I1300a61b389202242f112b6d280ab47746379546
Signed-off-by: JingLu5 <lvjing5@huawei.com>

Update git submodules

* Update docs/submodules/barometer from branch 'master'
  - Merge "Added Functest testcases for Barometer project"
  - Added Functest testcases for Barometer project

    Added different method to get user credentials of the installer
    nodes instead of reading from installer_params.yaml

    Change-Id: I97419c942e1cd9f943a62c36dbce424872a10cb1
Signed-off-by: Sharada Shiddibhavi <sharada.shiddibhavi@intel.com>

Update git submodules

* Update docs/submodules/sfc from branch 'master'
  - Added new fdio scenarios descriptions

    As part of MS6 we must have an updated directory structure. I added the two new
    scenarios using fdio

    Change-Id: If74dade8c75c59d452b034b98fff5dc0791b2191
Signed-off-by: Manuel Buil <mbuil@suse.com>

Update git submodules

* Update docs/submodules/nfvbench from branch 'master'
  - NFVBENCH-8 config checking fails with Exception TypeError: string indices must be integers, not str

    Change-Id: Ic3263374efffc9ea2566e107b99f47fb3b0c6edf
Signed-off-by: ahothan <ahothan@cisco.com>

Update git submodules

* Update docs/submodules/vswitchperf from branch 'master'
  - Moved devguide for consitency with docs dir structure for all testing projects
    Updated RFC description based on IETF approval of Internet Draft

    Change-Id: Ifd37da946866f350b8968bbbe8c5a3f5ce762cfa
Signed-off-by: Trevor Cooper <trevor.cooper@intel.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: ci/deploy.sh, states: bash debug, no err

    Change-Id: Ie860aace8cab1a48dea7a567dc941cf80305d181
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: MaaS: commissioning/deployment retry

    Change-Id: Ic4aa514e773d2963ad4a45b5be475e17b22885b4
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "samplevnf_helper: use network address"
  - samplevnf_helper: use network address

    use network address with netmasks to be proper

    ports_mac_list is no longer valid, remove it

    nd_route_tbl needs to default to something otherwise
    the VNF will segfault if it receives IPv6 on the port,
    which it will because something in Neutron is sending
    out IPv6 packets.

    disable use of the routing table gateways to set arp add.
    We set the next hop IP to always be the TG IP address,
    so we need to always use the TG IP in arp add to send
    to the TG MAC address

    don't use gateways to get local addresses.

    we can't use gateways because with OpenStack if we define
    a gateway is breaks the default route and we can no longer
    connect to the instance via floating IP.

    Change-Id: I0ebefe8ac09812b6030046f73bf772edda1c7d27
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Re-define the framesize and flow dynamic define in testcase"
  - Re-define the framesize and flow dynamic define in testcase

    This patch adds the framesize and flow into test option instead of
    adding a seperate file to avoid the multiple file update incase of ip
    change.

    Change-Id: Ic473c73773ad36422ecc02618b8c646a5336b70a
Signed-off-by: Deepak S <deepak.s@linux.intel.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - make sure master charm in kubernetes resolved before we are
     testing

    Change-Id: I5da42ff08acfcdcf3049b5facd9dc2f9146a035e
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - Merge "Migrates Apex to Python"
  - Migrates Apex to Python

    Removes all bash libraries and converts almost all of the code to a
    mixture of Python and Ansible.  utils.sh and clean.sh still exist.
    clean.sh will be migrated fully to clean.py in another patch.

    The Apex Python package is now built into the opnfv-apex-common RPM.  To
    install locally do 'pip3 install .'.  To deploy:

    opnfv-deploy -d <file> -n <file> --image-dir /root/apex/.build  -v --debug

    Non-python files (THT yaml, settings files, ansible playbooks) are all
    installed into /usr/share/opnfv-apex/.  The RPM will copy settings files
    into /etc/opnfv-apex/.

    JIRA: APEX-317

    Change-Id: I3232f0329bcd13bce5a28da6a8c9c84d0b048024
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "ssh: add new get_file_obj method to fetch remote files"
  - ssh: add new get_file_obj method to fetch remote files

    We can either cat remote files, or we can just sftp get
    them.

    use sftp get for /proc/cpuinfo since it can be so very large
    on systems with 88+ cores.

    Change-Id: I420b8c5eefdce8bb3e3b13dcc8257583dee537c1
Signed-off-by: Ross Brattain <ross.b.brattain@intel.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - Fix cmp reclass model: remove external_nic

    Change-Id: I098fc04a6d87b163033618a18c58f7ae246c68d6
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/storperf from branch 'master'
  - Merge "Graphite Standalone container"
  - Graphite Standalone container

    A new Graphite container is used
    Metrics are sent to both Graphite instances
    However, it seems that some metrics might be missing
    This is however a direct plugin. There are differences in
    carbon.conf, storage-schemas.conf and other files as well.
    It is suggested to write own Dockerfile instead of using
    the image available. We anyway have to do it with respect
    ARM Support.

    Change-Id: Id34c728f598150caac23ac167c3cce5eaf183a6c
    JIRA: STORPERF-142
Signed-off-by: Shrenik <shrenik.jain@research.iiit.ac.in>
Signed-off-by: mbeierl <mark.beierl@dell.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Refactor resource creation and cleanup in Tempest"
  - Refactor resource creation and cleanup in Tempest

    Use Snaps to create resources before running a testcase and to clean up
    afterwards.
    Use Tempest Cleanup utility to clean other resources.

    Change-Id: Ic0f69d3bafb60dfb283d18ac507e9f5992e9ae38
Signed-off-by: Martin Kulhavy <martin.kulhavy@nokia.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Updating the constrains for the Barometer test-suite"
  - Updating the constrains for the Barometer test-suite

    The patch switches the tests for Apex, which is the only Installer
    supported by the Barometer project for the OPNFV Euphrates Release.

    Change-Id: Ic064a41402bc4f27280f8d5e408d59ad41f888bc
Signed-off-by: Calin Gherghe <calin.gherghe@intel.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "AArch64: SNAPS: CentOS, Ubuntu image config"
  - AArch64: SNAPS: CentOS, Ubuntu image config

    Change-Id: I8cbbfda7dd4089c122af4e0a459f4c03c1a3bb3a
Signed-off-by: Catalina Focsa <catalina.focsa@enea.com>

Update git submodules

* Update docs/submodules/sfc from branch 'master'
  - Adapt SFC testcases according to new Tacker API.

    - Update vnfd tosca templates

    JIRA: SFC-102

    Change-Id: I712b64e45c317582e0cb54e42364605f537aeee3
Signed-off-by: Taseer Ahmed <taseer94@gmail.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Rebase after authorized_keys fix upstream

    Change-Id: Id53c2513b52d05a44dffda0fda40f8df259e226b
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/ves from branch 'master'
  - Merge "WIP"
  - WIP

    Update to 5 VDUs
    Update to use JSON schema 5.1 (separate update to Barometer plugin)
    Update so container is correctly referenced as 'onap-demo'
    Add output statement to facilitate debuggin; web servers working
    Disable credential validation in monitor.py
    Updated start.sh based on Bryan's changes
    Start.sh: pull latest barometer collectd plugin patch
    - various improvements in setup_agent()
    - remove GuestRunning from collectd config
    - add setup of InfluxDB and Grafana to monitor
    - add setup of agents in vFW and vLB
    ves_onap_demo.sh: fixed tacker not being configured (also Models patches)
    - add security groups for monitor incoming traffic
    evel_demo.c: update to latest schema, remove demo code
    monitor.py: integrate InfluxDB and Grafana
    Dashboard.json: file to import into Grafana
    infsetup.py: setup script for the veseventsdb database
    Refactoring to have junphost interact direct with VMs etc as needed.
    Update dashboard.json with current dashboard design.
    ves_onap_demo.sh:
    - fix method of checking if vnf has been deleted
    - reduce RAM size in onap.demo flavor to save headroom in virtual deploy
    - fix copy of public key to /opt/tacker

    JIRA: VES-11

    Change-Id: I210d566f52e2ef7a504b78033d822cf7430631b6
Signed-off-by: Aimee Ukasick <aimeeu.opensource@gmail.com>
Signed-off-by: Bryan Sullivan <bryan.sullivan@att.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Read aarch64 architecture"
  - Read aarch64 architecture

    Read aarch64 architecture from env variable exported
    by changes from patch https://gerrit.opnfv.org/gerrit/#/c/38689/

    Change-Id: If0fc94e8fe67871b94934c305c019b57872ecb07
Signed-off-by: Delia Popescu <delia.popescu@enea.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Fixes image download script"
  - Fixes image download script

    Fixes Include:
     - Fix previous behavior where multiple copies of the same file would be
       downloaded as blah.qcow.1, blah.qcow.2 and not overwrite original
       file.
     - Fix issue where files were always downloaded, even when they were not
       different from server version.

    It temporarily stops downloading from marketplace.openbaton.org:8082
    which is blocked by LF firewalls.
    wget options are tuned to avoid wasting jjobs time.

    Change-Id: I9191847a3f80045329c160e86655cc0a0e80831c
Signed-off-by: Tim Rozet <trozet@redhat.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Complete caching images for vnf testcases"
  - Complete caching images for vnf testcases

    It conforms with snaps API for publishing local images.
    It completes [1] which only modifies the yaml files.

    [1] https://gerrit.opnfv.org/gerrit/#/c/39757/

    Change-Id: I325a245c0e7bb15bb1f9570996500573cfe257b0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Merge "Reference testing group dev guide in testing section Add /devguide dir for VSPERF"

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Locate toplevel for git submodule

    Prior to git 1.8.4 the current working dir has to
    be at top-level to run git submodule update.

    Change-Id: I4d6c052364863f965e8140e56af17c09ee39ed59
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Add the skipped testcases into details"
  - Add the skipped testcases into details

    When running tempest_custom, if all tests are skipped, record them
    in details.

    Change-Id: Ie18ec0911ff298f91c524a9cd039929c2d0f6425
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Specify physical_network when creating network"
  - Specify physical_network when creating network

    When the network_type is vlan, it is necessary to specify
    physical_network and segmentation_id.

    JIRA: FUNCTEST-863

    Change-Id: Ia1acb0181e4f78654ecf5500c4c0366b143a91f5
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Merge "Config test_accounts_file for refstack_defcore"
  - Config test_accounts_file for refstack_defcore

    Tenant and user are required by refstack_defcore, which could
    be configured in the test_accounts_file. [1]

    [1]: https://github.com/openstack/refstack-client/blob/master/refstack_client/refstack_client.py#L170-L193

    Change-Id: I9c920b6f15f491d671ebf222976305bedf4dd747
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/doctor from branch 'master'
  - Merge "add maintenance detailed spec"
  - add maintenance detailed spec

    JIRA: DOCTOR-52

    Change-Id: I43c2d224fcd188946049d89fe266c541ea268dea
Signed-off-by: Tomi Juvonen <tomi.juvonen@nokia.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Add test case file, document and related scripts of yardstick
    tc057(HA_TC014)

    JIRA: YARDSTICK-779

    Change-Id: I6a812b1c88229b20a0dd0ce5bc135c9ba15266db
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Merge "states/network: parametrize Openstack public net"
  - states/network: parametrize Openstack public net

    Determine public network based on public IPs of compute nodes.

    Change-Id: I5a6b29a0458b0b839f8fdb3e32616a41d7a621f7
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - states/maas: Add mcp.rsa.pub to authorized_keys

    Add our mcp.rsa.pub RSA key to all nodes, including VCP VMs.
    This is required for functest to be able to fetch openrc.

    While at it, add retry wrappers for more VCP VM state.sls calls.

    Change-Id: I34f79848c52e36de8d981055880321a081420874
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
Signed-off-by: Guillermo Herrero <Guillermo.Herrero@enea.com>

Update git submodules

* Update docs/submodules/apex from branch 'master'
  - No change to apex, change is to apex-puppet-tripleo
    Bumps the step for barometer from 4 to 5.
    apex-puppet-tripleo: I486c4045e29c7032526be6e19d11e7979070c2d9

    Change-Id: I263d687e90e747e3fdfb9690ca9209553a1a2890
Signed-off-by: jhinman1 <john.hinman@intel.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: states: maas: Remove retries for salt.virt

    salt.virt always returns a non-zero status due to pillar parsing
    issues. Until we fix this, drop retries which cause an infinite loop.

    Change-Id: I451e0d4d054a19ac912ac29e1c37f49fcd96c17d
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Add test case file and document of Tardstick TC056(HA_TC013)"
  - Add test case file and document of Tardstick TC056(HA_TC013)

    JIRA: YARDSTICK-778

    Change-Id: I271b42a24e9d1ee48e54bceb4517252d1f664d51
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>

Update git submodules

* Update docs/submodules/yardstick from branch 'master'
  - Merge "Add test case file, document and related scripts of yardstick tc058(HA_TC015)"
  - Add test case file, document and related scripts of yardstick
    tc058(HA_TC015)

    JIRA: YARDSTICK-780

    Change-Id: I4406776cb6b91265a0d2674b5dd200ca7d13ef14
Signed-off-by: tjuyinkanglin <14_ykl@tongji.edu.cn>

Update git submodules

* Update docs/submodules/nfvbench from branch 'master'
  - NFVBENCH-1 Number of seconds to wait for VMs to pass traffic can be
    set in config

    Change-Id: Ia4ee4a89e3b839b287b7960c0d31dbc96e1f0331
Signed-off-by: mortenhillbom <mortenhillbom@gmail.com>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge "Setup CI job for storage benchmarking on apex"
  - Setup CI job for storage benchmarking on apex

    The script "launch_containers_by_testsuites.sh" helps to
    launch containers according to TEST_SUITE. e.g. compute or
    storage.

    JIRA: QTIP-265

    Change-Id: Ib7210d68600cc092e3322ddaab4cdf7913428647
Signed-off-by: zhihui wu <wu.zhihui1@zte.com.cn>

Update git submodules

* Update docs/submodules/qtip from branch 'master'
  - Merge ceph info roles

    Change-Id: I83be70cf24be2a9da0a0f82e44810b1e9ff2b3b8
Signed-off-by: Yujun Zhang <zhang.yujunz@zte.com.cn>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Bugfix: min_microversion in tempest_conf.yaml is too small"
  - Bugfix: min_microversion in tempest_conf.yaml is too small

    JIRA: DOVETAIL-486

    Now min_microversion is 2 which is too small for some other test cases.
    Change it to 2.2.

    Change-Id: Ibf2653b83b36d03420a62595010672d52d8bf77d
Signed-off-by: xudan <xudan16@huawei.com>

Update git submodules

* Update docs/submodules/nfvbench from branch 'master'
  - NFVBENCH-6 Add support for sending logs to fluentd with fluentd client library

    Change-Id: I1bc01b26f9e43f78c169b5fcd26247debcfe31bf
Signed-off-by: ahothan <ahothan@cisco.com>

Update git submodules

* Update docs/submodules/storperf from branch 'master'
  - Removing the hardcoded variable to get the data from json object
    JIRA: STORPERF-194

    Change-Id: I545b46833662ef1b12ed4f5df56044e73aec65c8
Signed-off-by: saksham115 <saksham.agrawal@research.iiit.ac.in>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: states: maas: mcp.rsa.pub authorized key

    Change-Id: Ifc1fafa0075d7032ee7d7e1e1d84759ab5baea76
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com:w
Signed-off-by: Guillermo Herrero <Guillermo.Herrero@enea.com>

Reference testing group dev guide in testing section
Add /devguide dir for VSPERF

Change-Id: Ib866c64bb41534b1825f301faabfc1520ed08bf4
Signed-off-by: Morgan Richomme <morgan.richomme@orange.com>
Signed-off-by: Trevor Cooper <trevor.cooper@intel.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Re-parametrize Openstack public net

    Instead of passing public net via local_env, deduce its range
    based on compute external IPs.

    Change-Id: Ib736921c1d0f4002ea33677e7d794fd3e22001ba
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/nfvbench from branch 'master'
  - Change the signature for config validation function

    Change-Id: I4ef3d18f1b068165cdfc8d08278d12ec6eac4a4c
Signed-off-by: Yichen Wang <yicwang@cisco.com>

Update git submodules

* Update docs/submodules/nfvbench from branch 'master'
  - [NFVBENCH-7] Return errors when unknown options are passed

    1) Return all errors when unknown options are passed
    2) Fixed pep8 warnings
    3) Fixed image deletion

    Change-Id: If21ca07c797a602b9a60f3ccae665149ed1ac148
Signed-off-by: Kerim Gokarslan <kgokarsl@cisco.com>

Update git submodules

* Update docs/submodules/nfvbench from branch 'master'
  - [NFVBENCH-7] Return errors when unknown options are passed

    1. Return errors when unknown options are passed
    2. Fix pep8 warnings

    Change-Id: I1cbc86de93b4633bbf9bd66c1dc956ff8b3679a6
Signed-off-by: Yichen Wang <yicwang@cisco.com>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - fixed the typo.

    Change-Id: I3820782985f7a8dc2474db8f89ba86ef2b031d1f
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Adds SwaggerUI"
  - Adds SwaggerUI

    Adds build for storperf-swaggerui as this is now based
    off multiarch/alpine to enable ARM support

    Change-Id: I8cec4277cda39e87face9c37179deea704b9bf27
Signed-off-by: mbeierl <mark.beierl@dell.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Calipso verify job is running on master"
  - Calipso verify job is running on master

    Jobs should not run on master
    python 3 not avaliable on master (unless venv is called)
    switch to opnfv-build-defaults

    Change-Id: I03cf9ae3d07033b68f5b6db1b13037febb9f729d
Signed-off-by: agardner <agardner@linuxfoundation.org>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - Changed $ROLES to explicit list to avoid some bash issue

    Change-Id: I512f1717705bf208bb847612abd41c82c13af644
Signed-off-by: Stuart Mackie <wsmackie@juniper.net>

Update git submodules

* Update docs/submodules/joid from branch 'master'
  - removing the public gateway addition code as it was added because
    ealier juju was not supported with multiple network space.

    Change-Id: I9fc3017c90b8ecdf9a6a1563056dad37d995ca0e
Signed-off-by: Narinder Gupta <narinder.gupta@canonical.com>

Update git submodules

* Update docs/submodules/armband from branch 'master'
  - p/fuel: Rebase: openstack_ha upstream sync

    Change-Id: I87a2259ddcbc3ab69cde7a3f3e78a79dc907a5d9
Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>

Update git submodules

* Update docs/submodules/releng from branch 'master'
  - Merge "Allow huawei-virtual5/8/9 publish logs to artifact repo"
  - Allow huawei-virtual5/8/9 publish logs to artifact repo

    Change-Id: I494b0a1ebe8eab7e4ed5642e0a9237d6a5f125b1
Signed-off-by: Linda Wang <wangwulin@huawei.com>

Update git submodules

* Update docs/submodules/functest from branch 'master'
  - Use dnsmasq to cache DNS queries

    It's mandatory for clearwater_ims as musl's resolver queries
    nameservers all in parallel and accepts whichever response arrives
    first [1].

    [1] http://wiki.musl-libc.org/wiki/Functional_differences_from_glibc#Name_Resolver_.2F_DNS

    Change-Id: I01a17436279a0be2fac1b27b73052edc594c33e0
Signed-off-by: Cédric Ollivier <cedric.ollivier@orange.com>

Update git submodules

* Update docs/submodules/fuel from branch 'master'
  - Configure neutron gateway

    Change-Id: I01744bd5728d6fc4c8cd3792aee9759434d18645
Signed-off-by: Michael Polenchuk <mpolenchuk@mirantis.com>