Update code base and docs to 2018.09 67/62167/3
authorxudan <xudan16@huawei.com>
Thu, 13 Sep 2018 02:53:39 +0000 (22:53 -0400)
committerxudan <xudan16@huawei.com>
Thu, 13 Sep 2018 11:35:33 +0000 (07:35 -0400)
The official name of the next release is going to be 2018.09.
We need to rename all occurrences of 2018.08 in the code base,
the documentation, and the web portal.

JIRA: DOVETAIL-740

Change-Id: Ie0e532d6671b7590454e9afd960a2934f313a022
Signed-off-by: xudan <xudan16@huawei.com>
docs/release/release-notes/dovetail-release.rst
docs/testing/user/ovpaddendum/exemption-strict-API-validation.rst
docs/testing/user/ovpaddendum/index.rst
docs/testing/user/reviewerguide/index.rst
docs/testing/user/userguide/cli_reference.rst
docs/testing/user/userguide/testing_guide.rst
dovetail/report.py
etc/compliance/ovp.2018.09.yaml [moved from etc/compliance/ovp.2018.08.yaml with 97% similarity]
etc/conf/cmd_config.yml
etc/conf/dovetail_config.yml
setup.cfg

index 92bbfad..20129ca 100644 (file)
@@ -11,7 +11,7 @@ You should have received a copy of the license along with this.
 If not, see http://creativecommons.org/licenses/by/4.0/.
 
 ==================================================================
-OPNFV Verified Program (OVP) 2018.08 / Dovetail 2.0.0 Release Note
+OPNFV Verified Program (OVP) 2018.09 / Dovetail 2.0.0 Release Note
 ==================================================================
 
 Abstract
@@ -30,18 +30,18 @@ Version History
 | 2018-01-21 | 1.0.0    | Dovetail for OVP 2018.01 |
 |            |          | Danube release           |
 +------------+----------+--------------------------+
-| 2018-08-09 | 2.0.0    | Dovetail for OVP 2018.08 |
+| 2018-08-09 | 2.0.0    | Dovetail for OVP 2018.09 |
 |            |          | Fraser release           |
 +------------+----------+--------------------------+
 
 
-OPNFV 2018.08 Release
+OPNFV 2018.09 Release
 =====================
 
 The OPNFV Verified Program (OVP) allows vendors and operators to obtain 'OPNFV Verified'
 status based on an agreed upon set of compliance verification test cases that align to OPNFV
 releases. The reference System under Test (SUT) are the NFV components deployed by the OPNFV
-installers for a given release, where OVP 2018.08 is based on the Fraser release. Participants
+installers for a given release, where OVP 2018.09 is based on the Fraser release. Participants
 of the program can verify commercial or open source offerings against an OVP release. This implies
 that the SUT used for verification has interfaces, components, functions and behaviors that align
 to OPNFV installer integrations.
@@ -68,17 +68,17 @@ Test Suites & Test Areas
 ------------------------
 
 OVP/Dovetail groups test cases into test suites and test areas. Test suites are currently a basic
-categorization around releases for the most part. Executing the test suite 'ovp.2018.08' without
-further specification will run all the test cases in the OVP 2018.08 release. Test suites are
+categorization around releases for the most part. Executing the test suite 'ovp.2018.09' without
+further specification will run all the test cases in the OVP 2018.09 release. Test suites are
 divided into test areas that can be executed separately.
 
-Test areas include a division into **'mandatory'** and **'optional'** in an overarching 
+Test areas include a division into **'mandatory'** and **'optional'** in an overarching
 categorization.
 
 All the mandatory test cases are required to be executed with passing results for all inclusive
 test cases for results to be reviewed and approved by the community made up of peer reviewers.
 The optional test cases are not required to be executed for the official compliance verification
-review in the OVP 2018.08 release. However, execution of these cases is encouraged, as some
+review in the OVP 2018.09 release. However, execution of these cases is encouraged, as some
 optional test cases may become mandatory in future releases.
 
 Test Cases and Sub Test Cases
@@ -86,7 +86,7 @@ Test Cases and Sub Test Cases
 
 Each test area consists of multiple test cases where each test case can be a single test or
 broken down into sub test cases. A listing of test cases with the number of sub test cases noted
-in parenthesis is shown below for the OVP 2018.08 release.
+in parenthesis is shown below for the OVP 2018.09 release.
 
 **Mandatory**
 
@@ -99,7 +99,7 @@ in parenthesis is shown below for the OVP 2018.08 release.
 - functest.tempest.image (2)
 - functest.tempest.network_api (14)
 - functest.tempest.volume (2)
-- functest.tempest.neutron_trunk_ports (40)
+- functest.tempest.neutron_trunk_ports (38)
 - functest.tempest.ipv6_api (21)
 - functest.security.patrole (119)
 - yardstick.ha.nova_api (1)
@@ -114,7 +114,7 @@ in parenthesis is shown below for the OVP 2018.08 release.
 - yardstick.ha.database  (1)
 
 
-There are a total of 434 mandatory test cases.
+There are a total of 432 mandatory test cases.
 
 **Optional**
 
@@ -150,19 +150,19 @@ The OPNFV test frameworks integrated into the Dovetail framework that deliver te
 Acceptence and Marketing
 ------------------------
 
-Upon successful community review of results for OVP 2018.08, the Linux Foundation Compliance
+Upon successful community review of results for OVP 2018.09, the Linux Foundation Compliance
 Verification Committee (LFN CVC) on behalf of the Board of Directors can award a product 'OPNFV
 Verified' status. Use of 'OPNFV Verified' Program Marks shall be awarded to the platform used
 for compliance verification. The category label of 'Infrastructure' is used within the Program
 Marks logo and limits the scope of this OVP release to a SUT consisting of NFVI and VIM components
 using ETSI terminology. It does not provide compliance verification for specific VNFs in any fashion.
-The date '2018.08' corresponds to a reference SUT that aligns to the OPNFV Fraser release and
+The date '2018.09' corresponds to a reference SUT that aligns to the OPNFV Fraser release and
 currently aligns to the Dovetail framework version 2.0.0.
 
 Organizations shall not use the Program Marks in any way that would associate it with any
 individual or company logo or brand, beyond the association to the specific platform to which it
 was awarded. While OpenStack RefStack interoperability and Tempest integration test cases are
-executed as part of the OVP 2018.08 compliance verification test suites, the OVP does not grant or
+executed as part of the OVP 2018.09 compliance verification test suites, the OVP does not grant or
 award OpenStack Marks in any fashion. 'OPNFV Verified' status does not assert readiness for
 commercial deployment.
 
@@ -183,12 +183,12 @@ Release Data
 |                                      |                                       |
 +--------------------------------------+---------------------------------------+
 | **Release designation**              | OPNFV Verified Program (OVP)          |
-|                                      | 2018.08 (Fraser)                      |
+|                                      | 2018.09 (Fraser)                      |
 +--------------------------------------+---------------------------------------+
 | **Release date**                     | August xxxx 2018                      |
 |                                      |                                       |
 +--------------------------------------+---------------------------------------+
-| **Purpose of the delivery**          | Support OVP 2018.08 release with      |
+| **Purpose of the delivery**          | Support OVP 2018.09 release with      |
 |                                      | OPNFV Fraser release as reference SUT |
 +--------------------------------------+---------------------------------------+
 
@@ -247,15 +247,15 @@ Documents
 Testing with OPNFV Fraser Installers
 ====================================
 
-OVP 2018.08 and Dovetail 2.0.0 are known to be have been tested with the following OPNFV
+OVP 2018.09 and Dovetail 2.0.0 are known to be have been tested with the following OPNFV
 Fraser installer versions.
 
 +-----------------+----------------------+
 |   Installer     |      Version         |
 +=================+======================+
-|   Apex          |      fraser.x.x      |
+|   Apex          |      opnfv-6.2.0     |
 +-----------------+----------------------+
-|   Compass       |      fraser.x.x      |
+|   Compass       |      opnfv-6.2.0     |
 +-----------------+----------------------+
 |   Fuel          |      fraser.x.x      |
 +-----------------+----------------------+
index 58b9283..b446611 100644 (file)
@@ -168,7 +168,7 @@ responses is as follows:
    not.
 
 #. The exemption will be made available to participants of OVP as part of a
-   service release of OVP 2018.01.
+   service release of OVP 2018.01 and 2018.09.
 
 #. The C&C committee will monitor the situation around exemptions and may
    decide changes to the above process at any time, including the possibility
index 3fb8dc4..5e4c0a6 100644 (file)
@@ -4,7 +4,7 @@
 .. (c) Intel and others
 
 =======================================
-Guidelines Addendum for 2018.08 release
+Guidelines Addendum for 2018.09 release
 =======================================
 
 .. toctree::
@@ -15,10 +15,10 @@ Introduction
 ============
 
 This addendum provides a high-level description of the testing scope and
-pass/fail criteria used in the OPNFV Verified Program (OVP) for the 2018.08
+pass/fail criteria used in the OPNFV Verified Program (OVP) for the 2018.09
 release. This information is intended as an overview for OVP testers and for
 the Dovetail Project to help guide test-tool and test-case development for the
-OVP 2018.08 release. The Dovetail project is responsible for documenting
+OVP 2018.09 release. The Dovetail project is responsible for documenting
 test-case specifications as well as implementing the OVP tool-chain through
 collaboration with the OPNFV testing community. OVP testing focuses on
 establishing the ability of the System Under Test (SUT) to perform NFVI and VIM
@@ -31,7 +31,7 @@ Meaning of Compliance
 
 OPNFV Compliance indicates adherence of an NFV platform to behaviors defined
 through specific platform capabilities, allowing to prepare, instantiate,
-operate and remove VNFs running on the NFVI. OVP 2018.08 compliance evaluates
+operate and remove VNFs running on the NFVI. OVP 2018.09 compliance evaluates
 the ability of a platform to support Service Provider network capabilities and
 workloads that are supported in the OPNFV platform as of this release.
 Compliance test cases are designated as compulsory or optional based on the
@@ -137,7 +137,7 @@ test scope.
 Analysis of Scope
 -----------------
 
-In order to define the scope of the 2018.08 release of the compliance and
+In order to define the scope of the 2018.09 release of the compliance and
 verification program, this section analyzes NFV-focused platform capabilities
 with respect to the high-level objectives and the general approach outlined in
 the previous section. The analysis determines which capabilities are suitable
@@ -169,7 +169,7 @@ including:
   suspend/resume, reboot, migrate)
 - simple virtual machine resource scheduling on multiple nodes
 
-OPNFV mainly supports OpenStack as the VIM up to the 2018.08 release. The VNFs
+OPNFV mainly supports OpenStack as the VIM up to the 2018.09 release. The VNFs
 used in the OVP program, and features in scope for the program which are
 considered to be basic to all VNFs, require commercial OpenStack distributions
 to support a common basic level of cloud capabilities, and to be compliant to a
@@ -198,7 +198,7 @@ feature requirements expand beyond common OpenStack (or other VIM)
 requirements. OPNFV OVP will incorporate test cases to verify compliance in
 these areas as they become mature. Because these extensions may impose new API
 demands, maturity and industry adoption is a prerequisite for making them a
-mandatory requirement for OPNFV compliance. At the time of the 2018.08 release,
+mandatory requirement for OPNFV compliance. At the time of the 2018.09 release,
 we have promoted tests of the OpenStack IPv6 API from optional to mandatory
 while keeping BGPVPN as optional test area. Passing optional tests will not be
 required to pass OPNFV compliance verification.
@@ -207,7 +207,7 @@ BGPVPNs are relevant due to the wide adoption of MPLS/BGP based VPNs in wide
 area networks, which makes it necessary for data centers hosting VNFs to be
 able to seamlessly interconnect with such networks. SFC is also an important
 NFV requirement, however its implementation has not yet been accepted or
-adopted in the upstream at the time of the 2018.08 release.
+adopted in the upstream at the time of the 2018.09 release.
 
 3. High availability
 
@@ -233,7 +233,7 @@ Resiliency testing involves stressing the SUT and verifying its ability to
 absorb stress conditions and still provide an acceptable level of service.
 Resiliency is an important requirement for end-users.
 
-The 2018.08 release of OVP includes a load test which spins up a number of VMs
+The 2018.09 release of OVP includes a load test which spins up a number of VMs
 pairs in parallel to assert that the system under test can process the workload
 spike in a stable and deterministic fashion.
 
@@ -248,12 +248,12 @@ capabilities expected of an end-user deployment. It is an area that we should
 address in the near future, to define a common set of requirements and develop
 test cases for verifying those requirements.
 
-The 2018.08 release includes new test cases which verify that the role-based
+The 2018.09 release includes new test cases which verify that the role-based
 access control (RBAC) functionality of the VIM is behaving as expected.
 
 Another common requirement is security vulnerability scanning. While the OPNFV
 security project integrated tools for security vulnerability scanning, this has
-not been fully analyzed or exercised in 2018.08 release. This area needs
+not been fully analyzed or exercised in 2018.09 release. This area needs
 further work to identify the required level of security for the purpose of
 OPNFV in order to be integrated into the OVP. End-user inputs on specific
 requirements in security is needed.
@@ -266,7 +266,7 @@ essential information and control mechanisms. These subsystems include
 telemetry, fault management (e.g. alarms), performance management, audits, and
 control mechanisms such as security and configuration policies.
 
-The current 2018.08 release implements some enabling capabilities in NFVI/VIM
+The current 2018.09 release implements some enabling capabilities in NFVI/VIM
 such as telemetry, policy, and fault management. However, the specification of
 expected system components, behavior and the test cases to verify them have not
 yet been adequately developed. We will therefore not be testing this area at
@@ -285,7 +285,7 @@ compliance because it validates design patterns and support for the types of
 NFVI features that users care about.
 
 There are a lot of projects in OPNFV developing use cases and sample VNFs. The
-2018.08 release of OVP features two such use-case tests, spawning and verifying
+2018.09 release of OVP features two such use-case tests, spawning and verifying
 a vIMS and a vEPC, correspondingly.
 
 8. Additional capabilities
@@ -307,10 +307,10 @@ OVP.
 
 
 
-Scope of the 2018.08 release of the OVP
+Scope of the 2018.09 release of the OVP
 ---------------------------------------
 
-Summarizing the results of the analysis above, the scope of the 2018.08 release
+Summarizing the results of the analysis above, the scope of the 2018.09 release
 of OVP is as follows:
 
 - Mandatory test scope:
@@ -374,7 +374,7 @@ Scope considerations for future OVP releases
 --------------------------------------------
 
 Based on the previous analysis, the following items are outside the scope of
-the 2018.08 release of OVP but are being considered for inclusion in future
+the 2018.09 release of OVP but are being considered for inclusion in future
 releases:
 
 - service assurance
index 8c3c8bf..25dc2f6 100644 (file)
@@ -44,7 +44,7 @@ The corresponding OVP portal result will have a status of 'review'.
 Figure 2
 
 Reviewers must follow the checklist below to ensure review consistency for the OPNFV
-Verified Program (OVP) 2018.08 (Fraser) release at a minimum.
+Verified Program (OVP) 2018.09 (Fraser) release at a minimum.
 
 #. **Mandatory Test Area Results** - Validate that results for all mandatory test areas are present.
 #. **Test-Case Pass Percentage** - Ensure all tests have passed (100% pass rate).
@@ -65,7 +65,6 @@ mandatory test cases are:
 - bottlenecks.stress.ping
 - functest.tempest.osinterop
 - functest.tempest.compute
-- functest.tempest.identity_v2
 - functest.tempest.identity_v3
 - functest.tempest.image
 - functest.tempest.network_api
index ddf308e..891617a 100644 (file)
@@ -118,7 +118,7 @@ Dovetail Commands
 .. code-block:: bash
 
    root@1f230e719e44:~/dovetail/dovetail# dovetail --version
-   dovetail, version 2018.8.0
+   dovetail, version 2018.9.0
 
 Dovetail List Commands
 ----------------------
@@ -135,7 +135,7 @@ Dovetail List Commands
 
 .. code-block:: bash
 
-   root@1f230e719e44:~/dovetail/dovetail# dovetail list ovp.2018.08
+   root@1f230e719e44:~/dovetail/dovetail# dovetail list ovp.2018.09
    - mandatory
        functest.vping.userdata
        functest.vping.ssh
@@ -266,7 +266,7 @@ Dovetail Run Commands
 
    root@1f230e719e44:~/dovetail/dovetail# dovetail run --testcase functest.vping.ssh --offline -r --deploy-scenario os-nosdn-ovs-ha
    2017-10-12 14:57:51,278 - run - INFO - ================================================
-   2017-10-12 14:57:51,278 - run - INFO - Dovetail compliance: ovp.2018.08!
+   2017-10-12 14:57:51,278 - run - INFO - Dovetail compliance: ovp.2018.09!
    2017-10-12 14:57:51,278 - run - INFO - ================================================
    2017-10-12 14:57:51,278 - run - INFO - Build tag: daily-master-b80bca76-af5d-11e7-879a-0242ac110002
    2017-10-12 14:57:51,278 - run - INFO - DEPLOY_SCENARIO : os-nosdn-ovs-ha
@@ -278,7 +278,7 @@ Dovetail Run Commands
    2017-10-12 14:58:21,325 - report.Report - INFO -
 
    Dovetail Report
-   Version: 2018.08
+   Version: 2018.09
    Build Tag: daily-master-b80bca76-af5d-11e7-879a-0242ac110002
    Test Date: 2018-08-13 03:23:56 UTC
    Duration: 291.92 s
index 6bf6d29..fa8ad1a 100644 (file)
@@ -572,7 +572,7 @@ for the details of the CLI.
 The '--testsuite' option is used to control the set of tests intended for execution
 at a high level. For the purposes of running the OVP test suite, the test suite name follows
 the following format, ``ovp.<major>.<minor>.<patch>``. The latest and default test suite is
-ovp.2018.08.
+ovp.2018.09.
 
 .. code-block:: bash
 
@@ -582,10 +582,10 @@ This command is equal to
 
 .. code-block:: bash
 
-   $ dovetail run --testsuite ovp.2018.08
+   $ dovetail run --testsuite ovp.2018.09
 
 Without any additional options, the above command will attempt to execute all mandatory and
-optional test cases with test suite ovp.2018.08.
+optional test cases with test suite ovp.2018.09.
 To restrict the breadth of the test scope, it can also be specified using options
 '--mandatory' or '--optional'.
 
@@ -657,7 +657,7 @@ result file on the Test Host.
 
    $ dovetail run --offline --testcase functest.vping.userdata --report
    2018-05-22 08:16:16,353 - run - INFO - ================================================
-   2018-05-22 08:16:16,353 - run - INFO - Dovetail compliance: ovp.2018.08!
+   2018-05-22 08:16:16,353 - run - INFO - Dovetail compliance: ovp.2018.09!
    2018-05-22 08:16:16,353 - run - INFO - ================================================
    2018-05-22 08:16:16,353 - run - INFO - Build tag: daily-master-660de986-5d98-11e8-b635-0242ac110001
    2018-05-22 08:19:31,595 - run - WARNING - There is no hosts file /home/dovetail/pre_config/hosts.yaml, may be some issues with domain name resolution.
index f1f47c2..f170857 100644 (file)
@@ -71,7 +71,7 @@ class Report(object):
         # egeokun: using a hardcoded string instead of pbr version for
         # versioning the result file. The version of the results.json is
         # logically independent of the release of Dovetail.
-        report_obj['version'] = '2018.08'
+        report_obj['version'] = '2018.09'
         report_obj['build_tag'] = dt_cfg.dovetail_config['build_tag']
         report_obj['test_date'] =\
             datetime.datetime.utcnow().strftime("%Y-%m-%d %H:%M:%S UTC")
similarity index 97%
rename from etc/compliance/ovp.2018.08.yaml
rename to etc/compliance/ovp.2018.09.yaml
index 2775d41..764398e 100644 (file)
@@ -1,6 +1,6 @@
 ---
-ovp.2018.08:
-  name: ovp.2018.08
+ovp.2018.09:
+  name: ovp.2018.09
   testcases_list:
     mandatory:
       - functest.vping.userdata
index 52fad1d..f02c864 100644 (file)
@@ -19,7 +19,7 @@ cli:
       testsuite:
         flags:
           - '--testsuite'
-        default: 'ovp.2018.08'
+        default: 'ovp.2018.09'
         help: 'compliance testsuite.'
       testarea:
         flags:
index 0841e49..ca36fe5 100644 (file)
@@ -17,7 +17,7 @@ testsuite_supported:
   - proposed_tests
   - debug
   - healthcheck
-  - ovp.2018.08
+  - ovp.2018.09
   - onap.1.0.0
 # testarea supported, should adjust accordingly
 testarea_supported:
index 12eb926..1c81594 100644 (file)
--- a/setup.cfg
+++ b/setup.cfg
@@ -1,6 +1,6 @@
 [metadata]
 name = dovetail
-version = 2018.08.0
+version = 2018.09.0
 home-page = https://wiki.opnfv.org/display/dovetail
 
 [files]