docs/testing/developer/devguide/posca_guide.rst

   1 .. This work is licensed under a Creative Commons Attribution 4.0 International License.
   2 .. http://creativecommons.org/licenses/by/4.0
   3 .. (c) Huawei Technologies Co.,Ltd and others.
   4
   5 *********************
   6 POSCA Testsuite Guide
   7 *********************
   8
   9
  10 POSCA Introduction
  11 ====================
  12 The POSCA (Parametric Bottlenecks Testing Catalogue) testsuite
  13 classifies the bottlenecks test cases and results into 5 categories.
  14 Then the results will be analyzed and bottlenecks will be searched
  15 among these categories.
  16
  17 The POSCA testsuite aims to locate the bottlenecks in parmetric
  18 manner and to decouple the bottlenecks regarding the deployment
  19 requirements.
  20 The POSCA testsuite provides an user friendly way to profile and
  21 understand the E2E system behavior and deployment requirements.
  22
  23 Goals of the POSCA testsuite:
  24  a) Automatically locate the bottlenecks in a iterative manner.
  25  b) Automatically generate the testing report for bottlenecks in different categories.
  26  c) Implementing Automated Staging.
  27
  28 Scopes of the POSCA testsuite:
  29  a) Modeling, Testing and Test Result analysis.
  30  b) Parameters choosing and Algorithms.
  31
  32 Test stories of POSCA testsuite:
  33  a) Factor test (Stress test): base test cases that Feature test and Optimization will be dependant on.
  34  b) Feature test: test cases for features/scenarios.
  35  c) Optimization test: test to tune the system parameter.
  36
  37 Detailed workflow is illutrated below.
  38
  39 * https://wiki.opnfv.org/display/bottlenecks
  40
  41 Preinstall Packages
  42 ====================
  43
  44 * Docker: https://docs.docker.com/engine/installation/
  45     * For Ubuntu, please refer to https://docs.docker.com/engine/installation/linux/ubuntu/
  46
  47 * Docker-Compose: https://docs.docker.com/compose/
  48
  49 .. code-block:: bash
  50
  51     if [ -d usr/local/bin/docker-compose ]; then
  52         rm -rf usr/local/bin/docker-compose
  53     fi
  54     curl -L https://github.com/docker/compose/releases/download/1.11.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
  55     chmod +x /usr/local/bin/docker-compose
  56
  57
  58 Run POSCA Locally
  59 =================
  60
  61 POSCA testsuite is highly automated regarding test environment preparation, installing testing tools, excuting tests and showing the report/analysis.
  62 A few steps are needed to run it locally.
  63
  64 It is presumed that a user is using Compass4nfv to deploy OPNFV Danube and the user logins jumper server as root.
  65
  66 Downloading Bottlenecks Software
  67 --------------------------------
  68
  69 .. code-block:: bash
  70
  71     mkdir /home/opnfv
  72     cd /home/opnfv
  73     git clone https://gerrit.opnfv.org/gerrit/bottlenecks
  74     cd bottlenecks
  75
  76 Preparing Python Virtual Evnironment
  77 ------------------------------------
  78
  79 .. code-block:: bash
  80
  81     . pre_virt_env.sh
  82
  83 Excuting Specified Testcase
  84 ---------------------------
  85
  86 Bottlencks provide a CLI interface to run the tests, which is one of the most convenient way since it is more close to our natural languge. An GUI interface with rest API will also be provided in later update.
  87
  88 .. code-block:: bash
  89
  90     bottlenecks [testcase run <testcase>] [teststory run <teststory>]
  91
  92 For the *testcase* command, testcase name should be as the same name of the test case configuration file located in testsuites/posca/testcase_cfg.
  93 For stress tests in Danube, *testcase* should be replaced by either *posca_factor_ping* or *posca_factor_system_bandwidth*.
  94 For the *teststory* command, a user could specified the test cases to be excuted by defined it in a teststory configuration file located in testsuites/posca/testsuite_story. There is also an example there named *posca_factor_test*.
  95
  96 There are also other 2 ways to run test cases and test stories.
  97 The first one is using shell script.
  98
  99 .. code-block:: bash
 100
 101     bash run_tests.sh [-h|--help] [-s <testsuite>] [-c <testcase>]
 102
 103 The second is using python interpreter.
 104
 105 .. code-block:: bash
 106
 107     docker-compose -f docker/bottleneck-compose/docker-compose.yml up -d
 108     docker pull tutum/influxdb:0.13
 109     sleep 5
 110     POSCA_SCRIPT="/home/opnfv/bottlenecks/testsuites/posca"
 111     docker exec bottleneckcompose_bottlenecks_1 python ${POSCA_SCRIPT}/run_posca.py [testcase <testcase>] [teststory <teststory>]
 112
 113
 114 Cleaning Up Environment
 115 -----------------------
 116
 117 .. code-block:: bash
 118
 119     . rm_virt_env.sh
 120
 121
 122 Run POSCA through Community CI
 123 ==============================
 124 * POSCA test cases are runned by OPNFV CI now. See https://build.opnfv.org for more information.
 125
 126 Test Result Description
 127 =======================
 128 * Please refer to release notes and also https://wiki.opnfv.org/display/testing/Result+alignment+for+ELK+post-processing