Code Review / functest.git / blobdiff
? search:
summary | shortlog | log | commit | commitdiff | review | tree
raw | inline | side by side
Merge "Fix typos in test_details.rst and test_overview.rst"
[functest.git] / docs / testing / user / userguide / troubleshooting.rst
diff --git a/docs/testing/user/userguide/troubleshooting.rst b/docs/testing/user/userguide/troubleshooting.rst
index 8455019..becc24a 100644 (file)
--- a/docs/testing/user/userguide/troubleshooting.rst
+++ b/docs/testing/user/userguide/troubleshooting.rst
@@ -43,9 +43,9 @@ These test cases can be run inside the container, using new Functest CLI as foll
     $ functest testcase run vping_userdata
 
 The Functest CLI is designed to route a call to the corresponding internal
     $ functest testcase run vping_userdata
 
 The Functest CLI is designed to route a call to the corresponding internal
-python scripts, located in paths:
-*$REPOS_DIR/functest/functest/opnfv_tests/vPing/CI/libraries/vPing_ssh.py* and
-*$REPOS_DIR/functest/functest/opnfv_tests/vPing/CI/libraries/vPing_userdata.py*
+python scripts, located in paths
+/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/vping/vping_ssh.py
+and /usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/vping/vping_userdata.py
 
 Notes:
 
 
 Notes:
 
@@ -65,7 +65,7 @@ Notes:
 
      It is actually still possible to invoke test execution, with suppression
      of OpenStack resource cleanup, however this requires invocation of a
 
      It is actually still possible to invoke test execution, with suppression
      of OpenStack resource cleanup, however this requires invocation of a
-     **specific Python script:** '/home/opnfv/repos/functest/ci/run_test.py'.
+     **specific Python script:** 'run_tests'.
      The `OPNFV Functest Developer Guide`_ provides guidance on the use of that
      Python script in such troubleshooting cases.
 
      The `OPNFV Functest Developer Guide`_ provides guidance on the use of that
      Python script in such troubleshooting cases.
 
@@ -122,9 +122,10 @@ This test case creates a floating IP on the external network and assigns it to
 the second instance **opnfv-vping-2**. The purpose of this is to establish
 a SSH connection to that instance and SCP a script that will ping the first
 instance. This script is located in the repository under
 the second instance **opnfv-vping-2**. The purpose of this is to establish
 a SSH connection to that instance and SCP a script that will ping the first
 instance. This script is located in the repository under
-*$REPOS_DIR/functest/functest/opnfv_tests/OpenStack/vPing/ping.sh* and takes an IP as
-a parameter. When the SCP is completed, the test will do an SSH call to that script
-inside the second instance. Some problems can happen here::
+/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/vping/ping.sh
+and takes an IP as a parameter. When the SCP is completed, the test will do a
+SSH call to that script inside the second instance. Some problems can happen
+here::
 
     vPing_ssh- ERROR - Cannot establish connection to IP xxx.xxx.xxx.xxx. Aborting
 
 
     vPing_ssh- ERROR - Cannot establish connection to IP xxx.xxx.xxx.xxx. Aborting
 
@@ -210,9 +211,6 @@ If this text or similar is shown::
 it means that the instance failed to read from the metadata service. Contact
 the Functest or installer teams for more information.
 
 it means that the instance failed to read from the metadata service. Contact
 the Functest or installer teams for more information.
 
-NOTE: Cloud-init in not supported on scenarios dealing with ONOS and the tests
-have been excluded from CI in those scenarios.
-
 
 Tempest
 ^^^^^^^
 
 Tempest
 ^^^^^^^
@@ -238,7 +236,8 @@ of the following
 | execution test cases are    | Rally in Functest, does not contain all the needed  |
 | missing                     | parameters or some parameters are not set properly. |
 |                             | The tempest.conf file is located in directory       |
 | execution test cases are    | Rally in Functest, does not contain all the needed  |
 | missing                     | parameters or some parameters are not set properly. |
 |                             | The tempest.conf file is located in directory       |
-|                             | '/home/opnfv/.rally/tempest/for-deployment-<UUID>'  |
+|                             | 'root/.rally/verification/verifier-<UUID>           |
+|                             | /for-deployment-<UUID>'                             |
 |                             | in the Functest Docker container. Use the "rally    |
 |                             | deployment list" command in order to check the UUID |
 |                             | the UUID of the current deployment.                 |
 |                             | in the Functest Docker container. Use the "rally    |
 |                             | deployment list" command in order to check the UUID |
 |                             | the UUID of the current deployment.                 |
@@ -250,36 +249,49 @@ related REST API requests/responses are output to the console. More detailed deb
 information can be found from tempest.log file stored into related Rally deployment
 folder.
 
 information can be found from tempest.log file stored into related Rally deployment
 folder.
 
+Functest offers a possibility to test a customized list of Tempest test cases.
+To enable that, add a new entry in docker/components/testcases.yaml on the "components" container
+with the following content::
 
 
-Rally
-^^^^^
+    -
+        case_name: tempest_custom
+        project_name: functest
+        criteria: 100
+        blocking: false
+        description: >-
+            The test case allows running a customized list of tempest
+            test cases
+        dependencies:
+            installer: ''
+            scenario: ''
+        run:
+            module: 'functest.opnfv_tests.openstack.tempest.tempest'
+            class: 'TempestCustom'
 
 
-The same error causes which were mentioned above for Tempest test cases, may also
-lead to errors in Rally as well.
+Also, a list of the Tempest test cases must be provided to the container or modify
+the existing one in
+/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/tempest/custom_tests/test_list.txt
 
 
-It is possible to run only one Rally scenario, instead of the whole suite.
-To do that, call the alternative python script as follows::
+Example of custom list of tests 'my-custom-tempest-tests.txt'::
 
 
-  python $REPOS_DIR/functest/functest/opnfv_tests/OpenStack/rally/run_rally-cert.py -h
-  usage: run_rally-cert.py [-h] [-d] [-r] [-s] [-v] [-n] test_name
+    tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops[compute,id-7fff3fb3-91d8-4fd0-bd7d-0204f1f180ba,network,smoke]
+    tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops[compute,id-f323b3ba-82f8-4db7-8ea6-6a895869ec49,network,smoke]
 
 
-  positional arguments:
-    test_name      Module name to be tested. Possible values are : [
-                   authenticate | glance | cinder | heat | keystone | neutron |
-                   nova | quotas | requests | vm | all ] The 'all' value
-                   performs all possible test scenarios
+This is an example of running a customized list of Tempest tests in Functest::
 
 
-  optional arguments:
-    -h, --help     show this help message and exit
-    -d, --debug    Debug mode
-    -r, --report   Create json result file
-    -s, --smoke    Smoke test mode
-    -v, --verbose  Print verbose info about the progress
-    -n, --noclean  Don't clean the created resources for this test.
+  sudo docker run --env-file env \
+      -v $(pwd)/openstack.creds:/home/opnfv/functest/conf/openstack.creds \
+      -v $(pwd)/images:/home/opnfv/functest/images \
+      -v $(pwd)/my-custom-testcases.yaml:/usr/lib/python2.7/site-packages/functest/ci/testcases.yaml \
+      -v $(pwd)/my-custom-tempest-tests.txt:/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/tempest/custom_tests/test_list.txt \
+      opnfv/functest-components run_tests -t tempest_custom
 
 
-For example, to run the Glance scenario with debug information::
 
 
-  python $REPOS_DIR/functest/functest/opnfv_tests/OpenStack/rally/run_rally-cert.py -d glance
+Rally
+^^^^^
+
+The same error causes which were mentioned above for Tempest test cases, may also
+lead to errors in Rally as well.
 
 Possible scenarios are:
  * authenticate
 
 Possible scenarios are:
  * authenticate
@@ -289,19 +301,15 @@ Possible scenarios are:
  * keystone
  * neutron
  * nova
  * keystone
  * neutron
  * nova
+ * ceilometer
  * quotas
  * quotas
- * requests
  * vm
 
 To know more about what those scenarios are doing, they are defined in directory:
  * vm
 
 To know more about what those scenarios are doing, they are defined in directory:
-*$REPOS_DIR/functest/functest/opnfv_tests/OpenStack/rally/scenario*
+/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/rally/scenario
 For more info about Rally scenario definition please refer to the Rally official
 documentation. `[3]`_
 
 For more info about Rally scenario definition please refer to the Rally official
 documentation. `[3]`_
 
-If the flag *all* is specified, it will run all the scenarios one by one. Please
-note that this might take some time (~1,5hr), taking around 1 hour alone to
-complete the Nova scenario.
-
 To check any possible problems with Rally, the logs are stored under
 */home/opnfv/functest/results/rally/* in the Functest Docker container.
 
 To check any possible problems with Rally, the logs are stored under
 */home/opnfv/functest/results/rally/* in the Functest Docker container.
 
@@ -323,26 +331,13 @@ been correctly configured to work together. Check Neutron configuration
 files, accounts, IP addresses etc.).
 
 
 files, accounts, IP addresses etc.).
 
 
-ONOS
-^^^^
-
-Please refer to the ONOS documentation. `ONOSFW User Guide`_ .
-
-
 Features
 --------
 
 Please refer to the dedicated feature user guides for details.
 
 
 Features
 --------
 
 Please refer to the dedicated feature user guides for details.
 
 
-security_scan
-^^^^^^^^^^^^^
-
-See OpenSCAP web site: https://www.open-scap.org/
-
-
-
-NFV
+VNF
 ---
 
 cloudify_ims
 ---
 
 cloudify_ims
@@ -377,11 +372,7 @@ described in the following table:
 | the VM                            | the vIMS VNF installation fails    |
 +-----------------------------------+------------------------------------+
 
 | the VM                            | the vIMS VNF installation fails    |
 +-----------------------------------+------------------------------------+
 
+Please note that this test case requires resources (8 VM (2Go) + 1 VM (4Go)), it
+is there fore not recommended to run it on a light configuration.
 
 
-parser
-^^^^^^
-
-For now log info is the only way to do trouble shooting
-
-
-.. _`OPNFV Functest Developer Guide`:  http://artifacts.opnfv.org/functest/docs/devguide/#
+.. _`OPNFV Functest Developer Guide`:  http://artifacts.opnfv.org/functest/docs/testing_developer_devguide/index.html#
Test suites and cases to verify OPNFV Platform functionality