tools/opnfvdashboard/opnfvdashboard.py

   1 """
   2 vsperf2dashboard
   3 """
   4 # Copyright 2015-2017 Intel Corporation.
   5 #
   6 # Licensed under the Apache License, Version 2.0 (the "License");
   7 # you may not use this file except in compliance with the License.
   8 # You may obtain a copy of the License at
   9 #
  10 #   http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 # Unless required by applicable law or agreed to in writing, software
  13 # distributed under the License is distributed on an "AS IS" BASIS,
  14 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 # See the License for the specific language governing permissions and
  16 # limitations under the License.
  17
  18 import os
  19 import csv
  20 import logging
  21 import requests
  22
  23 def results2opnfv_dashboard(results_path, int_data):
  24     """
  25     the method open the csv file with results and calls json encoder
  26     """
  27     testcases = os.listdir(results_path)
  28     for test in testcases:
  29         if not ".csv" in test:
  30             continue
  31         resfile = results_path + '/' + test
  32         with open(resfile, 'r') as in_file:
  33             reader = csv.DictReader(in_file)
  34             _push_results(reader, int_data)
  35
  36 def _push_results(reader, int_data):
  37     """
  38     the method encodes results and sends them into opnfv dashboard
  39     """
  40     db_url = int_data['db_url']
  41     url = db_url + "/results"
  42     casename = ""
  43     version_ovs = ""
  44     version_dpdk = ""
  45     version = ""
  46     allowed_pkt = ["64", "128", "512", "1024", "1518"]
  47     details = {"64": '', "128": '', "512": '', "1024": '', "1518": ''}
  48     test_start = None
  49     test_stop = None
  50
  51     for row_reader in reader:
  52         if allowed_pkt.count(row_reader['packet_size']) == 0:
  53             logging.error("The framesize is not supported in opnfv dashboard")
  54             continue
  55
  56         # test execution time includes all frame sizes, so start & stop time
  57         # is the same (repeated) for every framesize in CSV file
  58         if test_start is None:
  59             test_start = row_reader['start_time']
  60             test_stop = row_reader['stop_time']
  61
  62         casename = _generate_test_name(row_reader['id'], int_data)
  63         if "back2back" in row_reader['id']:
  64             details[row_reader['packet_size']] = row_reader['b2b_frames']
  65         else:
  66             details[row_reader['packet_size']] = row_reader['throughput_rx_fps']
  67
  68     # Create version field
  69     with open(int_data['pkg_list'], 'r') as pkg_file:
  70         for line in pkg_file:
  71             if "OVS_TAG" in line:
  72                 version_ovs = line.replace(' ', '')
  73                 version_ovs = version_ovs.replace('OVS_TAG?=', '')
  74             if "DPDK_TAG" in line:
  75                 if int_data['vanilla'] is False:
  76                     version_dpdk = line.replace(' ', '')
  77                     version_dpdk = version_dpdk.replace('DPDK_TAG?=', '')
  78                 else:
  79                     version_dpdk = "not used"
  80     version = "OVS " + version_ovs.replace('\n', '') + " DPDK " + version_dpdk.replace('\n', '')
  81
  82     # Build body
  83     body = {"project_name": "vsperf",
  84             "scenario": "vsperf",
  85             "start_date": test_start,
  86             "stop_date": test_stop,
  87             "case_name": casename,
  88             "pod_name": int_data['pod'],
  89             "installer": int_data['installer'],
  90             "version": version,
  91             "build_tag": int_data['build_tag'],
  92             "criteria": int_data['criteria'],
  93             "details": details}
  94
  95     my_data = requests.post(url, json=body)
  96     logging.info("Results for %s sent to opnfv, http response: %s", casename, my_data)
  97     logging.debug("opnfv url: %s", db_url)
  98     logging.debug("the body sent to opnfv")
  99     logging.debug(body)
 100
 101 def _generate_test_name(testcase, int_data):
 102     """
 103     the method generates testcase name for releng
 104     """
 105     vanilla = int_data['vanilla']
 106     res_name = ""
 107
 108     names = {'phy2phy_tput': ["tput_ovsdpdk", "tput_ovs"],
 109              'back2back': ["b2b_ovsdpdk", "b2b_ovs"],
 110              'phy2phy_tput_mod_vlan': ["tput_mod_vlan_ovsdpdk", "tput_mod_vlan_ovs"],
 111              'phy2phy_cont': ["cont_ovsdpdk", "cont_ovs"],
 112              'pvp_cont': ["pvp_cont_ovsdpdkuser", "pvp_cont_ovsvirtio"],
 113              'pvvp_cont': ["pvvp_cont_ovsdpdkuser", "pvvp_cont_ovsvirtio"],
 114              'phy2phy_scalability': ["scalability_ovsdpdk", "scalability_ovs"],
 115              'pvp_tput': ["pvp_tput_ovsdpdkuser", "pvp_tput_ovsvirtio"],
 116              'pvp_back2back': ["pvp_b2b_ovsdpdkuser", "pvp_b2b_ovsvirtio"],
 117              'pvvp_tput': ["pvvp_tput_ovsdpdkuser", "pvvp_tput_ovsvirtio"],
 118              'pvvp_back2back': ["pvvp_b2b_ovsdpdkuser", "pvvp_b2b_ovsvirtio"],
 119              'phy2phy_cpu_load': ["cpu_load_ovsdpdk", "cpu_load_ovs"],
 120              'phy2phy_mem_load': ["mem_load_ovsdpdk", "mem_load_ovs"]}
 121
 122     for name, name_list in names.items():
 123         if name != testcase:
 124             continue
 125         if vanilla is True:
 126             res_name = name_list[1]
 127         else:
 128             res_name = name_list[0]
 129         break
 130
 131     return res_name