docs/release/release-notes/functest-release.rst

   1 .. SPDX-License-Identifier: CC-BY-4.0
   2
   3 ======================================
   4 OPNFV master release note for Functest
   5 ======================================
   6
   7 Abstract
   8 ========
   9
  10 This document contains the release notes of the Functest project.
  11
  12 OPNFV master Release
  13 ====================
  14
  15 Functest deals with functional testing of the OPNFV solution.
  16 It includes test cases developed within the project, test cases developed in
  17 other OPNFV projects and it also integrates test cases from other upstream
  18 communities.
  19
  20 OpenStack
  21 ---------
  22
  23 The internal test cases are:
  24
  25  * connection_check
  26  * tenantnetwork1
  27  * tenantnetwork2
  28  * vmready1
  29  * vmready2
  30  * singlevm1
  31  * singlevm2
  32  * vping_ssh
  33  * vping_userdata
  34  * cinder_test
  35  * odl
  36  * tempest_smoke
  37  * neutron-tempest-plugin-api
  38  * rally_sanity
  39  * refstack_defcore
  40  * patrole
  41  * neutron_trunk
  42  * networking-bgpvpn
  43  * networking-sfc
  44  * barbican
  45  * tempest_full
  46  * tempest_scenario
  47  * rally_full
  48  * cloudify
  49  * cloudify_ims
  50  * heat_ims
  51  * vyos_vrouter
  52  * juju_epc
  53  * vgpu
  54
  55 The OPNFV projects integrated into Functest framework for automation are:
  56
  57  * doctor
  58  * bgpvpn
  59  * odl-sfc
  60  * barometer
  61  * fds
  62  * stor4nfv_os
  63
  64 Kubernetes
  65 ----------
  66
  67 The internal test cases are:
  68
  69  * k8s_smoke
  70  * k8s_conformance
  71
  72 The OPNFV projects integrated into Functest framework for automation are:
  73
  74  * stor4nfv
  75  * clover
  76
  77 Release Data
  78 ============
  79
  80 +--------------------------------------+--------------------------------------+
  81 | **Project**                          | functest                             |
  82 +--------------------------------------+--------------------------------------+
  83 | **Repository branch**                | master                               |
  84 +--------------------------------------+--------------------------------------+
  85
  86 Deliverables
  87 ============
  88
  89 Software
  90 --------
  91
  92  Functest Docker images (OpenStack):
  93
  94  * https://hub.docker.com/r/opnfv/functest-healthcheck
  95  * https://hub.docker.com/r/opnfv/functest-smoke
  96  * https://hub.docker.com/r/opnfv/functest-benchmarking
  97  * https://hub.docker.com/r/opnfv/functest-features
  98  * https://hub.docker.com/r/opnfv/functest-components
  99  * https://hub.docker.com/r/opnfv/functest-vnf
 100
 101  Functest Docker images (Kubernetes):
 102
 103  * https://hub.docker.com/r/opnfv/functest-kubernetes-healthcheck
 104  * https://hub.docker.com/r/opnfv/functest-kubernetes-smoke
 105  * https://hub.docker.com/r/opnfv/functest-kubernetes-features
 106
 107 Docker tag for master: latest
 108
 109 Documents
 110 ---------
 111
 112  * Functests Guides: https://functest.readthedocs.io/en/latest/
 113  * API Docs: https://functest-api.readthedocs.io/en/latest/
 114
 115 Version change
 116 ==============
 117
 118 New test cases
 119 --------------
 120
 121  * tenantnetwork1
 122  * tenantnetwork2
 123  * vmready1
 124  * vmready2
 125  * singlevm1
 126  * singlevm2
 127  * cinder_test
 128  * neutron-tempest-plugin-api
 129  * rally_jobs
 130  * networking-bgpvpn
 131  * networking-sfc
 132  * barbican
 133  * vmtp
 134  * shaker
 135  * tempest_scenario
 136  * cloudify
 137  * heat_ims
 138  * vgpu
 139
 140 Key changes
 141 -----------
 142
 143  * update test cases and containers to `OpenStack master`_ and to
 144    `Kubernetes master`_
 145  * define new scenarios to ease writing testcases vs OpenStack
 146  * isolate all resources created in different tenants
 147  * fully remove all OPNFV logics
 148  * publish new Jenkins jobs
 149  * support VIO (VMware Integrated OpenStack) and arm64 for Kubernetes
 150  * reduce Functest Kubernetes image sizes
 151  * add tempest_full and tempest_scenario in all daily jobs
 152  * include benchmarking tools such as Vmtp ans Shaker
 153  * increase functional scope by adding bgpvpn and sfc tempest plugins
 154
 155 .. _`OpenStack master`: https://github.com/openstack/requirements/blob/master/upper-constraints.txt
 156 .. _`Kubernetes master`: https://github.com/kubernetes/kubernetes
 157
 158 Key benefits
 159 ------------
 160
 161  * the enduser can easily build its own toolchains by loading our Jenkins jobs
 162  * all developpers can easily verify their changes before merge
 163  * our testcases may be run vs VIM in production
 164  * all testcases can run in parallel to decrease the overall duration
 165  * Functest includes most of the OpenStack gate jobs
 166
 167 Code quality
 168 ------------
 169
 170  * pylint: ~9.5/10
 171  * code coverage: ~70%
 172
 173 Useful links
 174 ============
 175
 176  * wiki project page: https://wiki.opnfv.org/display/functest/Opnfv+Functional+Testing
 177  * Functest git repository: https://git.opnfv.org/cgit/functest
 178  * Functest CI dashboard: https://build.opnfv.org/ci/view/functest/
 179  * JIRA dashboard: https://jira.opnfv.org/secure/Dashboard.jspa?selectPageId=10611
 180  * Functest IRC channel: #opnfv-functest
 181  * Reporting page: http://testresults.opnfv.org/reporting/master/functest/functest.html