docs/com/pres/compliance/compliance.md

   1 # From Verification to CNTT Compliance
   2
   3 [Cédric Ollivier](mailto:cedric.ollivier@orange.com)
   4
   5 2019/12/04
   6
   7
   8
   9 ## Infrastructure Verification
  10
  11
  12 ### Functest in a nutshell
  13
  14 - verify any kind of OpenStack and Kubernetes deployments (OPNFV model)
  15   including production environments
  16 - conform with upstream rules (OpenStack gate jobs and Kubernetes conformance
  17   tests)
  18 - ensure that the platforms meet Network Functions Virtualization requirements
  19
  20
  21 ### Functest suites
  22
  23 - all functional tests (3000+) as defined by the upstream communities
  24   (e.g. Tempest, neutron-tempest-api, Barbican, Patrole...)
  25 - 3 hours upstream API and dataplane benchmarking tests (Rally, VMTP and
  26   Shaker)
  27 - Virtual Network Function deployments and testing (vIMS, vRouter and vEPC)
  28
  29
  30
  31 ## CNTT Compliance
  32
  33
  34 ### Verification vs Compliance
  35
  36 - verification allows skipping test if optional services (Gnocchi, Barbican,
  37   etc.) or capabilities (remote console access, Neutron BGPVPN or SFC, etc.)
  38   are missing
  39 - compliance forces here the full API descriptions as currently proposed by
  40   CNTT (please see
  41   [Interfaces and APIs](https://github.com/cntt-n/CNTT/blob/master/doc/ref_arch/openstack/chapters/chapter05.md))
  42 - then the testcase descriptions should forbid skipping any test and cover only
  43   the mandatory services (and their mandatory capabilities)
  44
  45
  46 ### Changelog
  47
  48 - all the logics were already in Functest and the underlying frameworks (Rally,
  49   Tempest, etc.)
  50 - 2 new CNTT-related containers including the new testcase descriptions were
  51   published to easily verify the compliance
  52 - all 3 Functest SUTs (Rocky, Stein/Train and Master) are now compliant with
  53   CNTT API to ensure the continuous integration
  54 - the benchmarking testcases doesn't validate any KPI as nothing is written in
  55   CNTT documentation
  56
  57
  58 ### RI verification and Compliance
  59
  60 - CNTT Reference Implementation 1 is already continuously verified
  61   ([continuous integration model](https://build.opnfv.org/ci/view/cntt/job/cntt-latest-daily/))
  62 - the conformance is currently failing due to a few bugs in deployments and
  63   missing features
  64
  65 **Be free to [deploy your own CNTT Compliance CI/CD toolchain](https://wiki.opnfv.org/pages/viewpage.action?pageId=32015004)
  66   in a few commands**
  67
  68
  69
  70 ## Conclusion
  71
  72
  73 ### Next steps
  74
  75 - fix reference implementation 1 deployments and then achieve the compliance
  76 - port existing OPNFV testcases to Xtesting and then add them in the continuous
  77   integration loop
  78 - update the testcase descritions according to the CNTT progress (KPI, API
  79   changes)
  80
  81
  82 ### Takeaways
  83
  84 - Functest allows verifying any production Infrastructure and now checking the
  85   CNTT API Compliance
  86 - all containers can be already consumed
  87 - any third-party certification should reuse the Functest CNTT-related
  88   containers as they are
  89 - [CNTT RI continuous integration](https://build.opnfv.org/ci/view/cntt/job/cntt-latest-daily/)
  90   is in place and any testcase can be smoothly added if they leverage on
  91   Xtesting
  92
  93 **Try it, and you will love it!**
  94
  95
  96
  97 ## Thank you