docs/release/release-notes/functest-release.rst

   1 .. This work is licensed under a Creative Commons Attribution 4.0 International License.
   2 .. SPDX-License-Identifier: CC-BY-4.0
   3
   4 =======
   5 License
   6 =======
   7
   8 OPNFV Euphrates release note for Functest Docs
   9 are licensed under a Creative Commons Attribution 4.0 International License.
  10 You should have received a copy of the license along with this.
  11 If not, see <http://creativecommons.org/licenses/by/4.0/>.
  12
  13 =============================================
  14 OPNFV Euphrates 5.1 release note for Functest
  15 =============================================
  16
  17 Abstract
  18 ========
  19
  20 This document contains the release notes of the Functest project.
  21
  22
  23 OPNFV Euphrates Release
  24 ======================
  25
  26 Functest deals with functional testing of the OPNFV solution.
  27 It includes test cases developed within the project, test cases developed in
  28 other OPNFV projects and it also intgrates test cases from other upstream
  29 communities.
  30
  31 The internal test cases are:
  32
  33  * connection_check
  34  * api_check
  35  * snaps_health_check
  36  * vping_ssh
  37  * vping_userdata
  38  * tempest_smoke_serial
  39  * refstack_defcore
  40  * snaps_smoke
  41  * rally_sanity
  42  * odl
  43  * tempest_full_parallel
  44  * rally_full
  45  * cloudify_ims
  46  * vyos_vrouter
  47
  48 The OPNFV projects integrated into Functest framework for automation are:
  49
  50  * barometer
  51  * bgpvpn
  52  * doctor
  53  * domino
  54  * fds
  55  * odl-sfc
  56  * odl-netvirt
  57  * parser
  58  * promise
  59  * orchestra_openims
  60  * orchestra_clearwaterims
  61
  62
  63 Release Data
  64 ============
  65
  66 +--------------------------------------+--------------------------------------+
  67 | **Project**                          | functest                             |
  68 |                                      |                                      |
  69 +--------------------------------------+--------------------------------------+
  70 | **Repo/tag**                         | opnfv-5.1.0                          |
  71 |                                      |                                      |
  72 +--------------------------------------+--------------------------------------+
  73 | **Release designation**              | Euphrates 5.1 release                |
  74 |                                      |                                      |
  75 +--------------------------------------+--------------------------------------+
  76 | **Release date**                     | December 15th 2017                   |
  77 |                                      |                                      |
  78 +--------------------------------------+--------------------------------------+
  79 | **Purpose of the delivery**          | Euphrates second release             |
  80 |                                      |                                      |
  81 +--------------------------------------+--------------------------------------+
  82
  83 Deliverables
  84 ============
  85
  86 Software
  87 --------
  88
  89  Functest Docker images:
  90
  91  * https://hub.docker.com/r/opnfv/functest-healthcheck
  92  * https://hub.docker.com/r/opnfv/functest-smoke
  93  * https://hub.docker.com/r/opnfv/functest-features
  94  * https://hub.docker.com/r/opnfv/functest-components
  95  * https://hub.docker.com/r/opnfv/functest-vnf
  96  * https://hub.docker.com/r/opnfv/functest-parser
  97  * https://hub.docker.com/r/opnfv/functest-restapi
  98
  99  TestAPI Docker image:
 100
 101  * https://hub.docker.com/r/opnfv/testapi
 102
 103 Docker tag to be pulled:
 104  * amd64: amd64-opnfv-5.1.0
 105  * arm64: arm64-opnfv-5.1.0
 106
 107 Documents
 108 ---------
 109
 110  - Installation/configuration guide: http://docs.opnfv.org/en/stable-euphrates/submodules/functest/docs/testing/user/configguide/index.html
 111
 112  - User Guide: http://docs.opnfv.org/en/stable-euphrates/submodules/functest/docs/testing/user/userguide/index.html
 113
 114  - Developer Guide: http://docs.opnfv.org/en/stable-euphrates/submodules/functest/docs/testing/developer/devguide/index.html
 115
 116  - API Docs: http://artifacts.opnfv.org/functest/docs/index.html
 117
 118  - Functest Framework presentation: http://testresults.opnfv.org/functest/framework/index.html
 119
 120
 121 Version change
 122 ==============
 123
 124 Functest now delivers light-weigth Docker images based on Alpine 3.6. The test cases are grouped into several categories
 125 or tiers and must be run from the corresponding container. For example, to run the test case healthcheck, the image
 126 opnfv/functest-healthcheck shall be used. The tiers and the tests within them are explained in detail in the User Guide.
 127
 128 The former Ubuntu image is not longer maintained.
 129
 130 The Parser test case has its own dedicated Docker image since it requires libraries released for OpenStack Pike and
 131 Euphrates is based on Ocata.
 132
 133 The Docker images do not contain OS images (Cirros, Ubuntu, Centos, ..) anymore. A script has been created under the
 134 ci directory (download_images.sh) which contains all the needed images for all the tests. This file can be modified by
 135 the user since not all the images might be used. It must be executed before starting Functest and attach the needed
 136 images as a Docker volume. See Configuration Guide for more information.
 137
 138 The requirements have been split into 3 files:
 139  * requirements.txt : lists all abstract dependencies of the OPNFV packages
 140  * test-requirements.txt : lists all abstract dependencies required by Functest Unit Tests
 141  * upper-constraints.txt : lists all concrete upstream dependencies required by Functest Docker container
 142
 143 OPNFV (test-)requirements.txt have been updated according to stable/ocata global-requirements.txt.
 144 Functest uses (and completes) stable/ocata upper-constraints.txt in Dockerfiles and tox configuration.
 145 The project relies on pbr, which injects requirements into the install_requires, tests_require and/or dependency_links
 146 arguments to setup. It also supports conditional dependencies which can be added to the requirements (e.g. dnspython>=1.14.0;python_version=='2.7')
 147
 148 The way to manage logging has been centralized to a configuration file (logging.ini) which might be modified by the user.
 149 By default, the output of executing the test cases is redirected to log files and is not displayed on the console, only result
 150 messages and summary tables are displayed.
 151
 152 The framework has been refactored and all the test cases inherit from a core class TestCase. For Feature projects who develop
 153 test cases, 2 sub-classes have been created:
 154  - Feature: it implements all the needed functions and the developer must only overwrite the method "execute" (e.g. Barometer)
 155  - BashFeature: it is used if the third party test case is a shell script. This way, the execution command must be specified in
 156  testcases.yaml as the argument (e.g. Domino, Doctor)
 157
 158 An internal REST API has been introduced in Euphrates. The goal is to trigger Functest operations through an API in addition of the CLI.
 159 This could be considered as a first step towards a pseudo micro services approach where the different test projects could expose and
 160 consume APIs to the other test projects.
 161
 162 Euphrates 5.1 improvements
 163 ==========================
 164
 165 * Alpine images are now supported for ARM (arm64).
 166 * Added Vyos_router test case.
 167 * Updated of Rally 0.9.1 and fixed some bugs in cinder scenarios.
 168 * Patch to allow building containers from a gerrit change.
 169 * Selection of a subset of SNAPS test cases.
 170 * Reorder VNF test cases and adjust timeouts in VNFs.
 171
 172
 173
 174 Euphrates 5.1 known restrictions/issues
 175 =======================================
 176 +--------------+-----------+----------------------------------------------+
 177 | Installer    | Scenario  |  Issue                                       |
 178 +==============+===========+==============================================+
 179 | fuel@aarch64 |    any    |  VNF tier not supported yet.                 |
 180 +--------------+-----------+----------------------------------------------+
 181 |              |           |  The test cases belonging to the VNF tier    |
 182 |     any      |    any    |  have been only tested on os-nosdn-nofeature |
 183 |              |           |  scenarios and baremetal deployments.        |
 184 +--------------+-----------+----------------------------------------------+
 185 |     Joid     |    k8     |  Functest does not offer test suites for     |
 186 |    Compass   |           |  Kubernetes scenarios yet.                   |
 187 +--------------+-----------+----------------------------------------------+
 188
 189
 190 Test and installer/scenario dependencies
 191 ========================================
 192
 193 It is not always possible to run all the test cases on all the scenarios.
 194 The scenario dependencies (installer or scenario) are detailed
 195 in the different testcases.yaml for each tier:
 196
 197  * https://git.opnfv.org/functest/tree/docker/healthcheck/testcases.yaml?h=stable/euphrates
 198  * https://git.opnfv.org/functest/tree/docker/smoke/testcases.yaml?h=stable/euphrates
 199  * https://git.opnfv.org/functest/tree/docker/features/testcases.yaml?h=stable/euphrates
 200  * https://git.opnfv.org/functest/tree/docker/components/testcases.yaml?h=stable/euphrates
 201  * https://git.opnfv.org/functest/tree/docker/vnf/testcases.yaml?h=stable/euphrates
 202  * https://git.opnfv.org/functest/tree/docker/parser/testcases.yaml?h=stable/euphrates
 203
 204
 205 Test results
 206 ============
 207
 208 The Functest scenario status on December 15, 2017 can be seen on
 209 http://testresults.opnfv.org/functest/euphrates/
 210
 211 Test logs are available in:
 212
 213  - test results logs from CI: http://artifacts.opnfv.org (within different directories 'logs_functest_X')
 214
 215  - jenkins logs on CI: https://build.opnfv.org/ci/view/functest/
 216
 217  - jenkins logs on ARM CI: https://build.opnfv.org/ci/view/armband/
 218
 219
 220
 221 Open JIRA tickets
 222 =================
 223
 224 +------------------+-----------------------------------------------+
 225 |   JIRA           |         Description                           |
 226 +==================+===============================================+
 227 |                  |                                               |
 228 |                  |                                               |
 229 +------------------+-----------------------------------------------+
 230
 231 All the tickets that are not blocking have been fixed or postponed
 232 the next release.
 233
 234
 235 Useful links
 236 ============
 237
 238  - wiki project page: https://wiki.opnfv.org/opnfv_functional_testing
 239
 240  - wiki Functest Euphrates page: https://wiki.opnfv.org/display/functest/5.+Euphrates
 241
 242  - Functest repo: https://git.opnfv.org/cgit/functest
 243
 244  - Functest CI dashboard: https://build.opnfv.org/ci/view/functest/
 245
 246  - JIRA dashboard: https://jira.opnfv.org/secure/Dashboard.jspa?selectPageId=10611
 247
 248  - Functest IRC chan: #opnfv-functest
 249
 250  - Reporting page: http://testresults.opnfv.org/reporting/euphrates.html