yardstick/benchmark/scenarios/compute/perf.py

   1 ##############################################################################
   2 # Copyright (c) 2015 Ericsson AB and others.
   3 #
   4 # All rights reserved. This program and the accompanying materials
   5 # are made available under the terms of the Apache License, Version 2.0
   6 # which accompanies this distribution, and is available at
   7 # http://www.apache.org/licenses/LICENSE-2.0
   8 ##############################################################################
   9 import pkg_resources
  10 import logging
  11 import json
  12
  13 import yardstick.ssh as ssh
  14 from yardstick.benchmark.scenarios import base
  15
  16 LOG = logging.getLogger(__name__)
  17
  18
  19 class Perf(base.Scenario):
  20     """Execute perf benchmark in a host
  21
  22   Parameters
  23     events - perf tool software, hardware or tracepoint events
  24         type:       [str]
  25         unit:       na
  26         default:    ['task-clock']
  27     load - simulate load on the host by doing IO operations
  28         type:       bool
  29         unit:       na
  30         default:    false
  31
  32     For more info about perf and perf events see https://perf.wiki.kernel.org
  33     """
  34
  35     __scenario_type__ = "Perf"
  36
  37     TARGET_SCRIPT = 'perf_benchmark.bash'
  38
  39     def __init__(self, scenario_cfg, context_cfg):
  40         self.scenario_cfg = scenario_cfg
  41         self.context_cfg = context_cfg
  42         self.setup_done = False
  43
  44     def setup(self):
  45         """scenario setup"""
  46         self.target_script = pkg_resources.resource_filename(
  47             'yardstick.benchmark.scenarios.compute', Perf.TARGET_SCRIPT)
  48         host = self.context_cfg['host']
  49         user = host.get('user', 'ubuntu')
  50         ssh_port = host.get("ssh_port", ssh.DEFAULT_PORT)
  51         ip = host.get('ip', None)
  52         key_filename = host.get('key_filename', '~/.ssh/id_rsa')
  53
  54         LOG.info("user:%s, host:%s", user, ip)
  55         self.client = ssh.SSH(user, ip, key_filename=key_filename,
  56                               port=ssh_port)
  57         self.client.wait(timeout=600)
  58
  59         # copy script to host
  60         self.client._put_file_shell(self.target_script, '~/perf_benchmark.sh')
  61
  62         self.setup_done = True
  63
  64     def run(self, result):
  65         """execute the benchmark"""
  66
  67         if not self.setup_done:
  68             self.setup()
  69
  70         options = self.scenario_cfg['options']
  71         events = options.get('events', ['task-clock'])
  72
  73         events_string = ""
  74         for event in events:
  75             events_string += event + " "
  76
  77         # if run by a duration runner
  78         duration_time = self.scenario_cfg["runner"].get("duration", None) \
  79             if "runner" in self.scenario_cfg else None
  80         # if run by an arithmetic runner
  81         arithmetic_time = options.get("duration", None)
  82         if duration_time:
  83             duration = duration_time
  84         elif arithmetic_time:
  85             duration = arithmetic_time
  86         else:
  87             duration = 30
  88
  89         if 'load' in options:
  90             load = "dd if=/dev/urandom of=/dev/null"
  91         else:
  92             load = "sleep %d" % duration
  93
  94         cmd = "sudo bash perf_benchmark.sh '%s' %d %s" \
  95             % (load, duration, events_string)
  96
  97         LOG.debug("Executing command: %s", cmd)
  98         status, stdout, stderr = self.client.execute(cmd)
  99
 100         if status:
 101             raise RuntimeError(stdout)
 102
 103         result.update(json.loads(stdout))
 104
 105         if "sla" in self.scenario_cfg:
 106             metric = self.scenario_cfg['sla']['metric']
 107             exp_val = self.scenario_cfg['sla']['expected_value']
 108             smaller_than_exp = 'smaller_than_expected' \
 109                                in self.scenario_cfg['sla']
 110
 111             if metric not in result:
 112                 assert False, "Metric (%s) not found." % metric
 113             else:
 114                 if smaller_than_exp:
 115                     assert result[metric] < exp_val, "%s %d >= %d (sla); " \
 116                         % (metric, result[metric], exp_val)
 117                 else:
 118                     assert result[metric] >= exp_val, "%s %d < %d (sla); " \
 119                         % (metric, result[metric], exp_val)
 120
 121
 122 def _test():
 123     """internal test function"""
 124     key_filename = pkg_resources.resource_filename('yardstick.resources',
 125                                                    'files/yardstick_key')
 126     ctx = {
 127         'host': {
 128             'ip': '10.229.47.137',
 129             'user': 'root',
 130             'key_filename': key_filename
 131         }
 132     }
 133
 134     logger = logging.getLogger('yardstick')
 135     logger.setLevel(logging.DEBUG)
 136
 137     options = {'load': True}
 138     args = {'options': options}
 139     result = {}
 140
 141     p = Perf(args, ctx)
 142     p.run(result)
 143     print result
 144
 145 if __name__ == '__main__':
 146     _test()