functest/core/testcase.py

   1 #!/usr/bin/env python
   2
   3 # Copyright (c) 2016 Orange and others.
   4 #
   5 # All rights reserved. This program and the accompanying materials
   6 # are made available under the terms of the Apache License, Version 2.0
   7 # which accompanies this distribution, and is available at
   8 # http://www.apache.org/licenses/LICENSE-2.0
   9
  10 """Define the parent class of Functest TestCase."""
  11
  12 import os
  13
  14 import functest.utils.functest_logger as ft_logger
  15 import functest.utils.functest_utils as ft_utils
  16
  17 __author__ = "Cedric Ollivier <cedric.ollivier@orange.com>"
  18
  19
  20 class TestCase(object):
  21     """Parent class of Functest TestCase."""
  22
  23     EX_OK = os.EX_OK
  24     """Status code returned when everything is OK"""
  25
  26     EX_RUN_ERROR = os.EX_SOFTWARE
  27     """Status code returned when run() fails"""
  28
  29     EX_PUSH_TO_DB_ERROR = os.EX_SOFTWARE - 1
  30     """Status code returned when push_to_db() fails"""
  31
  32     EX_TESTCASE_FAILED = os.EX_SOFTWARE - 2
  33     """Status code returned when results are false"""
  34
  35     logger = ft_logger.Logger(__name__).getLogger()
  36
  37     def __init__(self, **kwargs):
  38         self.details = {}
  39         self.project_name = kwargs.get('project_name', 'functest')
  40         self.case_name = kwargs.get('case_name', '')
  41         self.criteria = ""
  42         self.start_time = ""
  43         self.stop_time = ""
  44
  45     def check_criteria(self):
  46         """Interpret the results of TestCase.
  47
  48         It allows getting the results of TestCase. It completes run()
  49         which only returns the execution status.
  50
  51         It can be overriden if checking criteria is not suitable.
  52
  53         Returns:
  54             TestCase.EX_OK if criteria is 'PASS'.
  55             TestCase.EX_TESTCASE_FAILED otherwise.
  56         """
  57         try:
  58             assert self.criteria
  59             if self.criteria == 'PASS':
  60                 return TestCase.EX_OK
  61         except AssertionError:
  62             self.logger.error("Please run test before checking the results")
  63         return TestCase.EX_TESTCASE_FAILED
  64
  65     def run(self, **kwargs):
  66         """Run TestCase.
  67
  68         It allows running TestCase and getting its execution
  69         status.
  70
  71         The subclasses must override the default implementation which
  72         is false on purpose. The only prerequisite is to set the
  73         following attributes to push the results to DB:
  74             * case_name,
  75             * criteria,
  76             * start_time,
  77             * stop_time.
  78
  79         Args:
  80             **kwargs: Arbitrary keyword arguments.
  81
  82         Returns:
  83             TestCase.EX_RUN_ERROR.
  84         """
  85         # pylint: disable=unused-argument
  86         self.logger.error("Run must be implemented")
  87         return TestCase.EX_RUN_ERROR
  88
  89     def push_to_db(self):
  90         """Push the results of TestCase to the DB.
  91
  92         It allows publishing the results and to check the status.
  93
  94         It could be overriden if the common implementation is not
  95         suitable. The following attributes must be set before pushing
  96         the results to DB:
  97             * project_name,
  98             * case_name,
  99             * criteria,
 100             * start_time,
 101             * stop_time.
 102
 103         Returns:
 104             TestCase.EX_OK if results were pushed to DB.
 105             TestCase.EX_PUSH_TO_DB_ERROR otherwise.
 106         """
 107         try:
 108             assert self.project_name
 109             assert self.case_name
 110             assert self.criteria
 111             assert self.start_time
 112             assert self.stop_time
 113             if ft_utils.push_results_to_db(
 114                     self.project_name, self.case_name, self.start_time,
 115                     self.stop_time, self.criteria, self.details):
 116                 self.logger.info("The results were successfully pushed to DB")
 117                 return TestCase.EX_OK
 118             else:
 119                 self.logger.error("The results cannot be pushed to DB")
 120                 return TestCase.EX_PUSH_TO_DB_ERROR
 121         except Exception:  # pylint: disable=broad-except
 122             self.logger.exception("The results cannot be pushed to DB")
 123             return TestCase.EX_PUSH_TO_DB_ERROR