testcases/VIM/OpenStack/CI/libraries/run_rally.py

   1 #!/usr/bin/env python
   2 #
   3 # Copyright (c) 2015 Orange
   4 # guyrodrigue.koffi@orange.com
   5 # morgan.richomme@orange.com
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Apache License, Version 2.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.apache.org/licenses/LICENSE-2.0
  10 #
  11 import re, json, os, urllib2, argparse, logging, yaml
  12
  13
  14
  15 """ get the date """
  16 cmd = os.popen("date '+%d%m%Y_%H%M'")
  17 test_date = cmd.read().rstrip()
  18
  19
  20 """ tests configuration """
  21 tests = ['authenticate', 'glance', 'cinder', 'heat', 'keystone', 'neutron', 'nova', 'quotas', 'requests', 'vm', 'tempest', 'all', 'smoke']
  22 parser = argparse.ArgumentParser()
  23 parser.add_argument("repo_path", help="Path to the repository")
  24 parser.add_argument("test_name", help="The name of the test you want to perform with rally. "
  25                                       "Possible values are : "
  26                                       "[ {d[0]} | {d[1]} | {d[2]} | {d[3]} | {d[4]} | {d[5]} | {d[6]} "
  27                                       "| {d[7]} | {d[8]} | {d[9]} | {d[10]} | {d[11]} | {d[12]}]. The 'all' value performs all the  possible tests scenarios"
  28                                       "except 'tempest'".format(d=tests))
  29 parser.add_argument("-d", "--debug", help="Debug mode",  action="store_true")
  30
  31 parser.add_argument("test_mode", help="Tempest test mode", nargs='?', default="smoke")
  32 args = parser.parse_args()
  33 test_mode=args.test_mode
  34
  35 if not args.test_name == "tempest":
  36     if not args.test_mode == "smoke":
  37         parser.error("test_mode is only used with tempest")
  38
  39 """ logging configuration """
  40 logger = logging.getLogger('run_rally')
  41 logger.setLevel(logging.DEBUG)
  42
  43 ch = logging.StreamHandler()
  44 if args.debug:
  45     ch.setLevel(logging.DEBUG)
  46 else:
  47     ch.setLevel(logging.INFO)
  48
  49 formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
  50 ch.setFormatter(formatter)
  51 logger.addHandler(ch)
  52
  53 HOME = os.environ['HOME']+"/"
  54 with open(args.repo_path+"testcases/config_functest.yaml") as f:
  55     functest_yaml = yaml.safe_load(f)
  56 f.close()
  57
  58 HOME = os.environ['HOME']+"/"
  59 SCENARIOS_DIR = HOME + functest_yaml.get("general").get("directories").get("dir_rally_scn")
  60 RESULTS_DIR = HOME + functest_yaml.get("general").get("directories").get("dir_rally_res") + test_date + "/"
  61
  62
  63
  64
  65 def get_tempest_id(cmd_raw):
  66     """
  67     get task id from command rally result
  68     :param cmd_raw:
  69     :return: task_id as string
  70     """
  71     taskid_re = re.compile('^Verification UUID: (.*)$')
  72     for line in cmd_raw.splitlines(True):
  73         line = line.strip()
  74     match = taskid_re.match(line)
  75
  76     if match:
  77         return match.group(1)
  78     return None
  79
  80 def get_task_id(cmd_raw):
  81     """
  82     get task id from command rally result
  83     :param cmd_raw:
  84     :return: task_id as string
  85     """
  86     taskid_re = re.compile('^Task +(.*): started$')
  87     for line in cmd_raw.splitlines(True):
  88         line = line.strip()
  89         match = taskid_re.match(line)
  90         if match:
  91             return match.group(1)
  92     return None
  93
  94
  95 def task_succeed(json_raw):
  96     """
  97     Parse JSON from rally JSON results
  98     :param json_raw:
  99     :return: Bool
 100     """
 101     rally_report = json.loads(json_raw)
 102     rally_report = rally_report[0]
 103     if rally_report is None:
 104         return False
 105     if rally_report.get('result') is None:
 106         return False
 107
 108     for result in rally_report.get('result'):
 109         if len(result.get('error')) > 0:
 110             return False
 111
 112     return True
 113
 114 def run_tempest():
 115     """
 116     the function dedicated to Tempest (functional tests for OpenStack)
 117     :param test_mode: Tempest mode smoke (default), full, ..
 118     :return: void
 119     """
 120     logger.info('starting {} Tempest ...'.format(test_mode))
 121
 122     cmd_line = "rally verify start {}".format(test_mode)
 123     logger.debug('running command line : {}'.format(cmd_line))
 124     cmd = os.popen(cmd_line)
 125     task_id = get_tempest_id(cmd.read())
 126     logger.debug('task_id : {}'.format(task_id))
 127
 128     if task_id is None:
 129         logger.error("failed to retrieve task_id")
 130     exit(-1)
 131
 132     """ check for result directory and create it otherwise """
 133     if not os.path.exists(RESULTS_DIR):
 134         logger.debug('does not exists, we create it'.format(RESULTS_DIR))
 135         os.makedirs(RESULTS_DIR)
 136
 137     """ write log report file """
 138     report_file_name = '{}opnfv-tempest.log'.format(RESULTS_DIR)
 139     cmd_line = "rally verify detailed {} > {} ".format(task_id, report_file_name)
 140     logger.debug('running command line : {}'.format(cmd_line))
 141     os.popen(cmd_line)
 142
 143
 144 def run_task(test_name):
 145     """
 146     the "main" function of the script who lunch rally for a task
 147     :param test_name: name for the rally test
 148     :return: void
 149     """
 150     logger.info('starting {} test ...'.format(test_name))
 151
 152     """ check directory for scenarios test files or retrieve from git otherwise"""
 153     proceed_test = True
 154     test_file_name = '{}opnfv-{}.json'.format(SCENARIOS_DIR, test_name)
 155     if not os.path.exists(test_file_name):
 156         logger.debug('{} does not exists'.format(test_file_name))
 157         proceed_test = retrieve_test_cases_file(test_name, SCENARIOS_DIR)
 158
 159     """ we do the test only if we have a scenario test file """
 160     if proceed_test:
 161         logger.debug('Scenario fetched from : {}'.format(test_file_name))
 162         cmd_line = "rally task start --abort-on-sla-failure %s" % test_file_name
 163         logger.debug('running command line : {}'.format(cmd_line))
 164         cmd = os.popen(cmd_line)
 165         task_id = get_task_id(cmd.read())
 166         logger.debug('task_id : {}'.format(task_id))
 167
 168         if task_id is None:
 169             logger.error("failed to retrieve task_id")
 170             exit(-1)
 171
 172         """ check for result directory and create it otherwise """
 173         if not os.path.exists(RESULTS_DIR):
 174             logger.debug('does not exists, we create it'.format(RESULTS_DIR))
 175             os.makedirs(RESULTS_DIR)
 176
 177         """ write html report file """
 178         report_file_name = '{}opnfv-{}.html'.format(RESULTS_DIR, test_name)
 179         cmd_line = "rally task report %s --out %s" % (task_id, report_file_name)
 180         logger.debug('running command line : {}'.format(cmd_line))
 181         os.popen(cmd_line)
 182
 183         """ get and save rally operation JSON result """
 184         cmd_line = "rally task results %s" % task_id
 185         logger.debug('running command line : {}'.format(cmd_line))
 186         cmd = os.popen(cmd_line)
 187         json_results = cmd.read()
 188         with open('{}opnfv-{}.json'.format(RESULTS_DIR, test_name), 'w') as f:
 189             logger.debug('saving json file')
 190             f.write(json_results)
 191             logger.debug('saving json file2')
 192
 193         """ parse JSON operation result """
 194         if task_succeed(json_results):
 195             print 'Test OK'
 196         else:
 197             print 'Test KO'
 198     else:
 199         logger.error('{} test failed, unable to fetch a scenario test file'.format(test_name))
 200
 201
 202 def retrieve_test_cases_file(test_name, tests_path):
 203     """
 204     Retrieve from github the sample test files
 205     :return: Boolean that indicates the retrieval status
 206     """
 207
 208     """ do not add the "/" at the end """
 209     url_base = "https://git.opnfv.org/cgit/functest/plain/testcases/VIM/OpenStack/CI/suites"
 210
 211     test_file_name = 'opnfv-{}.json'.format(test_name)
 212     logger.info('fetching {}/{} ...'.format(url_base, test_file_name))
 213
 214     try:
 215         response = urllib2.urlopen('{}/{}'.format(url_base, test_file_name))
 216     except (urllib2.HTTPError, urllib2.URLError):
 217         return False
 218     file_raw = response.read()
 219
 220     """ check if the test path exist otherwise we create it """
 221     if not os.path.exists(tests_path):
 222         os.makedirs(tests_path)
 223
 224     with open('{}/{}'.format(tests_path, test_file_name), 'w') as f:
 225         f.write(file_raw)
 226     return True
 227
 228
 229 def main():
 230     """ configure script """
 231     if not (args.test_name in tests):
 232         logger.error('argument not valid')
 233         exit(-1)
 234
 235     if args.test_name == "all":
 236         for test_name in tests:
 237             if not (test_name == 'all' or test_name == 'tempest' or test_name == 'heat' or test_name == 'smoke' or test_name == 'vm' ):
 238                 print(test_name)
 239                 run_task(test_name)
 240     else:
 241         print(args.test_name)
 242         if args.test_name == 'tempest':
 243             run_tempest()
 244         else:
 245             run_task(args.test_name)
 246
 247 if __name__ == '__main__':
 248     main()