tests/unit/benchmark/runner/test_search.py

   1 # Copyright (c) 2017 Intel Corporation
   2 #
   3 # Licensed under the Apache License, Version 2.0 (the "License");
   4 # you may not use this file except in compliance with the License.
   5 # You may obtain a copy of the License at
   6 #
   7 #      http://www.apache.org/licenses/LICENSE-2.0
   8 #
   9 # Unless required by applicable law or agreed to in writing, software
  10 # distributed under the License is distributed on an "AS IS" BASIS,
  11 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12 # See the License for the specific language governing permissions and
  13 # limitations under the License.
  14 #
  15
  16 from __future__ import absolute_import
  17 import unittest
  18 from contextlib import contextmanager
  19
  20 import mock
  21
  22 STL_MOCKS = {
  23     'stl': mock.MagicMock(),
  24     'stl.trex_stl_lib': mock.MagicMock(),
  25     'stl.trex_stl_lib.base64': mock.MagicMock(),
  26     'stl.trex_stl_lib.binascii': mock.MagicMock(),
  27     'stl.trex_stl_lib.collections': mock.MagicMock(),
  28     'stl.trex_stl_lib.copy': mock.MagicMock(),
  29     'stl.trex_stl_lib.datetime': mock.MagicMock(),
  30     'stl.trex_stl_lib.functools': mock.MagicMock(),
  31     'stl.trex_stl_lib.imp': mock.MagicMock(),
  32     'stl.trex_stl_lib.inspect': mock.MagicMock(),
  33     'stl.trex_stl_lib.json': mock.MagicMock(),
  34     'stl.trex_stl_lib.linecache': mock.MagicMock(),
  35     'stl.trex_stl_lib.math': mock.MagicMock(),
  36     'stl.trex_stl_lib.os': mock.MagicMock(),
  37     'stl.trex_stl_lib.platform': mock.MagicMock(),
  38     'stl.trex_stl_lib.pprint': mock.MagicMock(),
  39     'stl.trex_stl_lib.random': mock.MagicMock(),
  40     'stl.trex_stl_lib.re': mock.MagicMock(),
  41     'stl.trex_stl_lib.scapy': mock.MagicMock(),
  42     'stl.trex_stl_lib.socket': mock.MagicMock(),
  43     'stl.trex_stl_lib.string': mock.MagicMock(),
  44     'stl.trex_stl_lib.struct': mock.MagicMock(),
  45     'stl.trex_stl_lib.sys': mock.MagicMock(),
  46     'stl.trex_stl_lib.threading': mock.MagicMock(),
  47     'stl.trex_stl_lib.time': mock.MagicMock(),
  48     'stl.trex_stl_lib.traceback': mock.MagicMock(),
  49     'stl.trex_stl_lib.trex_stl_async_client': mock.MagicMock(),
  50     'stl.trex_stl_lib.trex_stl_client': mock.MagicMock(),
  51     'stl.trex_stl_lib.trex_stl_exceptions': mock.MagicMock(),
  52     'stl.trex_stl_lib.trex_stl_ext': mock.MagicMock(),
  53     'stl.trex_stl_lib.trex_stl_jsonrpc_client': mock.MagicMock(),
  54     'stl.trex_stl_lib.trex_stl_packet_builder_interface': mock.MagicMock(),
  55     'stl.trex_stl_lib.trex_stl_packet_builder_scapy': mock.MagicMock(),
  56     'stl.trex_stl_lib.trex_stl_port': mock.MagicMock(),
  57     'stl.trex_stl_lib.trex_stl_stats': mock.MagicMock(),
  58     'stl.trex_stl_lib.trex_stl_streams': mock.MagicMock(),
  59     'stl.trex_stl_lib.trex_stl_types': mock.MagicMock(),
  60     'stl.trex_stl_lib.types': mock.MagicMock(),
  61     'stl.trex_stl_lib.utils': mock.MagicMock(),
  62     'stl.trex_stl_lib.utils.argparse': mock.MagicMock(),
  63     'stl.trex_stl_lib.utils.collections': mock.MagicMock(),
  64     'stl.trex_stl_lib.utils.common': mock.MagicMock(),
  65     'stl.trex_stl_lib.utils.json': mock.MagicMock(),
  66     'stl.trex_stl_lib.utils.os': mock.MagicMock(),
  67     'stl.trex_stl_lib.utils.parsing_opts': mock.MagicMock(),
  68     'stl.trex_stl_lib.utils.pwd': mock.MagicMock(),
  69     'stl.trex_stl_lib.utils.random': mock.MagicMock(),
  70     'stl.trex_stl_lib.utils.re': mock.MagicMock(),
  71     'stl.trex_stl_lib.utils.string': mock.MagicMock(),
  72     'stl.trex_stl_lib.utils.sys': mock.MagicMock(),
  73     'stl.trex_stl_lib.utils.text_opts': mock.MagicMock(),
  74     'stl.trex_stl_lib.utils.text_tables': mock.MagicMock(),
  75     'stl.trex_stl_lib.utils.texttable': mock.MagicMock(),
  76     'stl.trex_stl_lib.warnings': mock.MagicMock(),
  77     'stl.trex_stl_lib.yaml': mock.MagicMock(),
  78     'stl.trex_stl_lib.zlib': mock.MagicMock(),
  79     'stl.trex_stl_lib.zmq': mock.MagicMock(),
  80 }
  81
  82 STLClient = mock.MagicMock()
  83 stl_patch = mock.patch.dict("sys.modules", STL_MOCKS)
  84 stl_patch.start()
  85
  86 if stl_patch:
  87     from yardstick.benchmark.runners.search import SearchRunner
  88     from yardstick.benchmark.runners.search import SearchRunnerHelper
  89
  90
  91 class TestSearchRunnerHelper(unittest.TestCase):
  92
  93     def test___call__(self):
  94         cls = mock.MagicMock()
  95         aborted = mock.MagicMock()
  96         scenario_cfg = {
  97             'runner': {},
  98         }
  99
 100         benchmark = cls()
 101         method = getattr(benchmark, 'my_method')
 102         helper = SearchRunnerHelper(cls, 'my_method', scenario_cfg, {}, aborted)
 103
 104         with helper.get_benchmark_instance():
 105             helper()
 106
 107         self.assertEqual(method.call_count, 1)
 108
 109     def test___call___error(self):
 110         cls = mock.MagicMock()
 111         aborted = mock.MagicMock()
 112         scenario_cfg = {
 113             'runner': {},
 114         }
 115
 116         helper = SearchRunnerHelper(cls, 'my_method', scenario_cfg, {}, aborted)
 117
 118         with self.assertRaises(RuntimeError):
 119             helper()
 120
 121     @mock.patch('yardstick.benchmark.runners.search.time')
 122     def test_is_not_done(self, mock_time):
 123         cls = mock.MagicMock()
 124         aborted = mock.MagicMock()
 125         scenario_cfg = {
 126             'runner': {},
 127         }
 128
 129         mock_time.time.side_effect = range(1000)
 130
 131         helper = SearchRunnerHelper(cls, 'my_method', scenario_cfg, {}, aborted)
 132
 133         index = -1
 134         for index in helper.is_not_done():
 135             if index >= 10:
 136                 break
 137
 138         self.assertGreaterEqual(index, 10)
 139
 140     @mock.patch('yardstick.benchmark.runners.search.time')
 141     def test_is_not_done_immediate_stop(self, mock_time):
 142         cls = mock.MagicMock()
 143         aborted = mock.MagicMock()
 144         scenario_cfg = {
 145             'runner': {
 146                 'run_step': '',
 147             },
 148         }
 149
 150         helper = SearchRunnerHelper(cls, 'my_method', scenario_cfg, {}, aborted)
 151
 152         index = -1
 153         for index in helper.is_not_done():
 154             if index >= 10:
 155                 break
 156
 157         self.assertEqual(index, -1)
 158
 159 class TestSearchRunner(unittest.TestCase):
 160
 161     def test__worker_run_once(self):
 162         def update(*args):
 163             args[-1].update(data)
 164
 165         data = {
 166             'key1': {
 167                 'inner1': 'value1',
 168                 'done': 0,
 169             },
 170             'key2': {
 171                 'done': None,
 172             },
 173         }
 174
 175         runner = SearchRunner({})
 176         runner.worker_helper = mock.MagicMock(side_effect=update)
 177
 178         self.assertFalse(runner._worker_run_once('sequence 1'))
 179
 180     def test__worker_run_once_done(self):
 181         def update(*args):
 182             args[-1].update(data)
 183
 184         data = {
 185             'key1': {
 186                 'inner1': 'value1',
 187                 'done': 0,
 188             },
 189             'key2': {
 190                 'done': None,
 191             },
 192             'key3': {
 193                 'done': True,
 194             },
 195             'key4': [],
 196             'key5': 'value5',
 197         }
 198
 199         runner = SearchRunner({})
 200         runner.worker_helper = mock.MagicMock(side_effect=update)
 201
 202         self.assertTrue(runner._worker_run_once('sequence 1'))
 203
 204     def test__worker_run_once_assertion_error_assert(self):
 205         runner = SearchRunner({})
 206         runner.sla_action = 'assert'
 207         runner.worker_helper = mock.MagicMock(side_effect=AssertionError)
 208
 209         with self.assertRaises(AssertionError):
 210             runner._worker_run_once('sequence 1')
 211
 212     def test__worker_run_once_assertion_error_monitor(self):
 213         runner = SearchRunner({})
 214         runner.sla_action = 'monitor'
 215         runner.worker_helper = mock.MagicMock(side_effect=AssertionError)
 216
 217         self.assertFalse(runner._worker_run_once('sequence 1'))
 218
 219     def test__worker_run_once_non_assertion_error_none(self):
 220         runner = SearchRunner({})
 221         runner.worker_helper = mock.MagicMock(side_effect=RuntimeError)
 222
 223         self.assertTrue(runner._worker_run_once('sequence 1'))
 224
 225     def test__worker_run_once_non_assertion_error(self):
 226         runner = SearchRunner({})
 227         runner.sla_action = 'monitor'
 228         runner.worker_helper = mock.MagicMock(side_effect=RuntimeError)
 229
 230         self.assertFalse(runner._worker_run_once('sequence 1'))
 231
 232     def test__worker_run(self):
 233         cls = mock.MagicMock()
 234         scenario_cfg = {
 235             'runner': {'interval': 0, 'timeout': 1},
 236         }
 237
 238         runner = SearchRunner({})
 239         runner._worker_run_once = mock.MagicMock(side_effect=[0, 0, 1])
 240
 241         runner._worker_run(cls, 'my_method', scenario_cfg, {})
 242
 243     def test__worker_run_immediate_stop(self):
 244         cls = mock.MagicMock()
 245         scenario_cfg = {
 246             'runner': {
 247                 'run_step': '',
 248             },
 249         }
 250
 251         runner = SearchRunner({})
 252         runner._worker_run(cls, 'my_method', scenario_cfg, {})
 253
 254     @mock.patch('yardstick.benchmark.runners.search.multiprocessing')
 255     def test__run_benchmark(self, mock_multi_process):
 256         cls = mock.MagicMock()
 257         scenario_cfg = {
 258             'runner': {},
 259         }
 260
 261         runner = SearchRunner({})
 262         runner._run_benchmark(cls, 'my_method', scenario_cfg, {})
 263         self.assertEqual(mock_multi_process.Process.call_count, 1)