Merge "Fix typos in test_details.rst and test_overview.rst"
[functest.git] / docs / testing / user / userguide / troubleshooting.rst
index bcd9e1c..becc24a 100644 (file)
@@ -43,9 +43,9 @@ These test cases can be run inside the container, using new Functest CLI as foll
     $ functest testcase run vping_userdata
 
 The Functest CLI is designed to route a call to the corresponding internal
-python scripts, located in paths:
-*$REPOS_DIR/functest/functest/opnfv_tests/openstack/vping/vping_ssh.py* and
-*$REPOS_DIR/functest/functest/opnfv_tests/openstack/vping/vping_userdata.py*
+python scripts, located in paths
+/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/vping/vping_ssh.py
+and /usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/vping/vping_userdata.py
 
 Notes:
 
@@ -65,7 +65,7 @@ Notes:
 
      It is actually still possible to invoke test execution, with suppression
      of OpenStack resource cleanup, however this requires invocation of a
-     **specific Python script:** '/home/opnfv/repos/functest/ci/run_test.py'.
+     **specific Python script:** 'run_tests'.
      The `OPNFV Functest Developer Guide`_ provides guidance on the use of that
      Python script in such troubleshooting cases.
 
@@ -122,9 +122,10 @@ This test case creates a floating IP on the external network and assigns it to
 the second instance **opnfv-vping-2**. The purpose of this is to establish
 a SSH connection to that instance and SCP a script that will ping the first
 instance. This script is located in the repository under
-*$REPOS_DIR/functest/functest/opnfv_tests/openstack/vping/ping.sh* and takes an IP as
-a parameter. When the SCP is completed, the test will do an SSH call to that script
-inside the second instance. Some problems can happen here::
+/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/vping/ping.sh
+and takes an IP as a parameter. When the SCP is completed, the test will do a
+SSH call to that script inside the second instance. Some problems can happen
+here::
 
     vPing_ssh- ERROR - Cannot establish connection to IP xxx.xxx.xxx.xxx. Aborting
 
@@ -210,9 +211,6 @@ If this text or similar is shown::
 it means that the instance failed to read from the metadata service. Contact
 the Functest or installer teams for more information.
 
-NOTE: Cloud-init in not supported on scenarios dealing with ONOS and the tests
-have been excluded from CI in those scenarios.
-
 
 Tempest
 ^^^^^^^
@@ -238,7 +236,7 @@ of the following
 | execution test cases are    | Rally in Functest, does not contain all the needed  |
 | missing                     | parameters or some parameters are not set properly. |
 |                             | The tempest.conf file is located in directory       |
-|                             | '/home/opnfv/.rally/verification/verifier-<UUID>    |
+|                             | 'root/.rally/verification/verifier-<UUID>           |
 |                             | /for-deployment-<UUID>'                             |
 |                             | in the Functest Docker container. Use the "rally    |
 |                             | deployment list" command in order to check the UUID |
@@ -251,6 +249,43 @@ related REST API requests/responses are output to the console. More detailed deb
 information can be found from tempest.log file stored into related Rally deployment
 folder.
 
+Functest offers a possibility to test a customized list of Tempest test cases.
+To enable that, add a new entry in docker/components/testcases.yaml on the "components" container
+with the following content::
+
+    -
+        case_name: tempest_custom
+        project_name: functest
+        criteria: 100
+        blocking: false
+        description: >-
+            The test case allows running a customized list of tempest
+            test cases
+        dependencies:
+            installer: ''
+            scenario: ''
+        run:
+            module: 'functest.opnfv_tests.openstack.tempest.tempest'
+            class: 'TempestCustom'
+
+Also, a list of the Tempest test cases must be provided to the container or modify
+the existing one in
+/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/tempest/custom_tests/test_list.txt
+
+Example of custom list of tests 'my-custom-tempest-tests.txt'::
+
+    tempest.scenario.test_server_basic_ops.TestServerBasicOps.test_server_basic_ops[compute,id-7fff3fb3-91d8-4fd0-bd7d-0204f1f180ba,network,smoke]
+    tempest.scenario.test_network_basic_ops.TestNetworkBasicOps.test_network_basic_ops[compute,id-f323b3ba-82f8-4db7-8ea6-6a895869ec49,network,smoke]
+
+This is an example of running a customized list of Tempest tests in Functest::
+
+  sudo docker run --env-file env \
+      -v $(pwd)/openstack.creds:/home/opnfv/functest/conf/openstack.creds \
+      -v $(pwd)/images:/home/opnfv/functest/images \
+      -v $(pwd)/my-custom-testcases.yaml:/usr/lib/python2.7/site-packages/functest/ci/testcases.yaml \
+      -v $(pwd)/my-custom-tempest-tests.txt:/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/tempest/custom_tests/test_list.txt \
+      opnfv/functest-components run_tests -t tempest_custom
+
 
 Rally
 ^^^^^
@@ -266,12 +301,12 @@ Possible scenarios are:
  * keystone
  * neutron
  * nova
+ * ceilometer
  * quotas
- * requests
  * vm
 
 To know more about what those scenarios are doing, they are defined in directory:
-*$REPOS_DIR/functest/functest/opnfv_tests/openstack/rally/scenario*
+/usr/lib/python2.7/site-packages/functest/opnfv_tests/openstack/rally/scenario
 For more info about Rally scenario definition please refer to the Rally official
 documentation. `[3]`_
 
@@ -295,10 +330,6 @@ If any of the other test cases fails, check that Neutron and ODL have
 been correctly configured to work together. Check Neutron configuration
 files, accounts, IP addresses etc.).
 
-ONOS
-^^^^
-Please refer to the ONOS documentation. `ONOSFW User Guide`_ .
-
 
 Features
 --------
@@ -306,7 +337,6 @@ Features
 Please refer to the dedicated feature user guides for details.
 
 
-
 VNF
 ---
 
@@ -342,6 +372,7 @@ described in the following table:
 | the VM                            | the vIMS VNF installation fails    |
 +-----------------------------------+------------------------------------+
 
+Please note that this test case requires resources (8 VM (2Go) + 1 VM (4Go)), it
+is there fore not recommended to run it on a light configuration.
 
-
-.. _`OPNFV Functest Developer Guide`:  http://artifacts.opnfv.org/functest/docs/devguide/#
+.. _`OPNFV Functest Developer Guide`:  http://artifacts.opnfv.org/functest/docs/testing_developer_devguide/index.html#