docs/release/release-notes/functest-release.rst

   1 .. SPDX-License-Identifier: CC-BY-4.0
   2
   3 ======================================
   4 OPNFV master release note for Functest
   5 ======================================
   6
   7 Abstract
   8 ========
   9
  10 This document contains the release notes of the Functest project.
  11
  12 OPNFV master Release
  13 ====================
  14
  15 Functest deals with functional testing of the OPNFV solution.
  16 It includes test cases developed within the project, test cases developed in
  17 other OPNFV projects and it also integrates test cases from other upstream
  18 communities.
  19
  20 OpenStack
  21 ---------
  22
  23 The internal test cases are:
  24
  25  * connection_check
  26  * tenantnetwork1
  27  * tenantnetwork2
  28  * vmready1
  29  * vmready2
  30  * singlevm1
  31  * singlevm2
  32  * vping_ssh
  33  * vping_userdata
  34  * cinder_test
  35  * odl
  36  * tempest_smoke
  37  * neutron-tempest-plugin-api
  38  * rally_sanity
  39  * refstack_defcore
  40  * patrole
  41  * neutron_trunk
  42  * networking-bgpvpn
  43  * networking-sfc
  44  * barbican
  45  * tempest_full
  46  * tempest_scenario
  47  * rally_full
  48  * cloudify
  49  * cloudify_ims
  50  * heat_ims
  51  * vyos_vrouter
  52  * juju_epc
  53  * vgpu
  54
  55 The OPNFV projects integrated into Functest framework for automation are:
  56
  57  * doctor
  58  * bgpvpn
  59  * odl-sfc
  60  * barometer
  61  * fds
  62  * stor4nfv_os
  63
  64 Kubernetes
  65 ----------
  66
  67 The internal test cases are:
  68
  69  * k8s_smoke
  70  * k8s_conformance
  71
  72 The OPNFV projects integrated into Functest framework for automation are:
  73
  74  * stor4nfv
  75  * clover
  76
  77 Release Data
  78 ============
  79
  80 +--------------------------------------+--------------------------------------+
  81 | **Project**                          | functest                             |
  82 +--------------------------------------+--------------------------------------+
  83 | **Repository branch**                | master                               |
  84 +--------------------------------------+--------------------------------------+
  85
  86 Deliverables
  87 ============
  88
  89 Software
  90 --------
  91
  92  Functest Docker images (OpenStack):
  93
  94  * https://hub.docker.com/r/opnfv/functest-healthcheck
  95  * https://hub.docker.com/r/opnfv/functest-smoke
  96  * https://hub.docker.com/r/opnfv/functest-benchmarking
  97  * https://hub.docker.com/r/opnfv/functest-features
  98  * https://hub.docker.com/r/opnfv/functest-vnf
  99
 100  Functest Docker images (Kubernetes):
 101
 102  * https://hub.docker.com/r/opnfv/functest-kubernetes-healthcheck
 103  * https://hub.docker.com/r/opnfv/functest-kubernetes-smoke
 104  * https://hub.docker.com/r/opnfv/functest-kubernetes-features
 105
 106 Docker tag for master: latest
 107
 108 Documents
 109 ---------
 110
 111  * Functests Guides: https://functest.readthedocs.io/en/latest/
 112  * API Docs: https://functest-api.readthedocs.io/en/latest/
 113
 114 Version change
 115 ==============
 116
 117 New test cases
 118 --------------
 119
 120  * tenantnetwork1
 121  * tenantnetwork2
 122  * vmready1
 123  * vmready2
 124  * singlevm1
 125  * singlevm2
 126  * cinder_test
 127  * neutron-tempest-plugin-api
 128  * rally_jobs
 129  * networking-bgpvpn
 130  * networking-sfc
 131  * barbican
 132  * vmtp
 133  * shaker
 134  * tempest_scenario
 135  * cloudify
 136  * heat_ims
 137  * vgpu
 138
 139 Key changes
 140 -----------
 141
 142  * update test cases and containers to `OpenStack master`_ and to
 143    `Kubernetes master`_
 144  * define new scenarios to ease writing testcases vs OpenStack
 145  * isolate all resources created in different tenants
 146  * fully remove all OPNFV logics
 147  * publish new Jenkins jobs
 148  * support VIO (VMware Integrated OpenStack) and arm64 for Kubernetes
 149  * reduce Functest Kubernetes image sizes
 150  * add tempest_full and tempest_scenario in all daily jobs
 151  * include benchmarking tools such as Vmtp ans Shaker
 152  * increase functional scope by adding bgpvpn and sfc tempest plugins
 153
 154 .. _`OpenStack master`: https://github.com/openstack/requirements/blob/master/upper-constraints.txt
 155 .. _`Kubernetes master`: https://github.com/kubernetes/kubernetes
 156
 157 Key benefits
 158 ------------
 159
 160  * the enduser can easily build its own toolchains by loading our Jenkins jobs
 161  * all developpers can easily verify their changes before merge
 162  * our testcases may be run vs VIM in production
 163  * all testcases can run in parallel to decrease the overall duration
 164  * Functest includes most of the OpenStack gate jobs
 165
 166 Code quality
 167 ------------
 168
 169  * pylint: ~9.5/10
 170  * code coverage: ~70%
 171
 172 Useful links
 173 ============
 174
 175  * wiki project page: https://wiki.opnfv.org/display/functest/Opnfv+Functional+Testing
 176  * Functest git repository: https://github.com/opnfv/functest
 177  * Functest CI dashboard: https://build.opnfv.org/ci/view/functest/
 178  * JIRA dashboard: https://jira.opnfv.org/secure/Dashboard.jspa?selectPageId=10611
 179  * Functest IRC channel: #opnfv-functest
 180  * Reporting page: http://testresults.opnfv.org/reporting/master/functest/functest.html