Show real time tempest test execution
[functest.git] / utils / functest_utils.py
1 #!/usr/bin/env python
2 #
3 # jose.lausuch@ericsson.com
4 # valentin.boucher@orange.com
5 # All rights reserved. This program and the accompanying materials
6 # are made available under the terms of the Apache License, Version 2.0
7 # which accompanies this distribution, and is available at
8 # http://www.apache.org/licenses/LICENSE-2.0
9 #
10
11 """ global variables """
12
13 from datetime import datetime as dt
14 import json
15 import os
16 import os.path
17 import re
18 import shutil
19 import socket
20 import subprocess
21 import sys
22 import urllib2
23
24 import functest.ci.tier_builder as tb
25 from git import Repo
26 import requests
27 import yaml
28
29
30 REPOS_DIR = os.getenv('repos_dir')
31 FUNCTEST_REPO = ("%s/functest/" % REPOS_DIR)
32
33
34 # ----------------------------------------------------------
35 #
36 #               INTERNET UTILS
37 #
38 # -----------------------------------------------------------
39 def check_internet_connectivity(url='http://www.opnfv.org/'):
40     """
41     Check if there is access to the internet
42     """
43     try:
44         urllib2.urlopen(url, timeout=5)
45         return True
46     except urllib2.URLError:
47         return False
48
49
50 def download_url(url, dest_path):
51     """
52     Download a file to a destination path given a URL
53     """
54     name = url.rsplit('/')[-1]
55     dest = dest_path + "/" + name
56     try:
57         response = urllib2.urlopen(url)
58     except (urllib2.HTTPError, urllib2.URLError):
59         return False
60
61     with open(dest, 'wb') as f:
62         shutil.copyfileobj(response, f)
63     return True
64
65
66 # ----------------------------------------------------------
67 #
68 #               CI UTILS
69 #
70 # -----------------------------------------------------------
71 def get_git_branch(repo_path):
72     """
73     Get git branch name
74     """
75     repo = Repo(repo_path)
76     branch = repo.active_branch
77     return branch.name
78
79
80 def get_installer_type(logger=None):
81     """
82     Get installer type (fuel, apex, joid, compass)
83     """
84     try:
85         installer = os.environ['INSTALLER_TYPE']
86     except KeyError:
87         if logger:
88             logger.error("Impossible to retrieve the installer type")
89         installer = "Unknown_installer"
90
91     return installer
92
93
94 def get_scenario(logger=None):
95     """
96     Get scenario
97     """
98     try:
99         scenario = os.environ['DEPLOY_SCENARIO']
100     except KeyError:
101         if logger:
102             logger.error("Impossible to retrieve the scenario")
103         scenario = "Unknown_scenario"
104
105     return scenario
106
107
108 def get_version(logger=None):
109     """
110     Get version
111     """
112     # Use the build tag to retrieve the version
113     # By default version is unknown
114     # if launched through CI the build tag has the following format
115     # jenkins-<project>-<installer>-<pod>-<job>-<branch>-<id>
116     # e.g. jenkins-functest-fuel-opnfv-jump-2-daily-master-190
117     # use regex to match branch info
118     rule = "daily-(.+?)-[0-9]*"
119     build_tag = get_build_tag(logger)
120     m = re.search(rule, build_tag)
121     if m:
122         return m.group(1)
123     else:
124         return "unknown"
125
126
127 def get_pod_name(logger=None):
128     """
129     Get PoD Name from env variable NODE_NAME
130     """
131     try:
132         return os.environ['NODE_NAME']
133     except KeyError:
134         if logger:
135             logger.error(
136                 "Unable to retrieve the POD name from environment. " +
137                 "Using pod name 'unknown-pod'")
138         return "unknown-pod"
139
140
141 def get_build_tag(logger=None):
142     """
143     Get build tag of jenkins jobs
144     """
145     try:
146         build_tag = os.environ['BUILD_TAG']
147     except KeyError:
148         if logger:
149             logger.error("Impossible to retrieve the build tag")
150         build_tag = "unknown_build_tag"
151
152     return build_tag
153
154
155 def get_db_url(logger=None):
156     """
157     Returns DB URL
158     """
159     with open(os.environ["CONFIG_FUNCTEST_YAML"]) as f:
160         functest_yaml = yaml.safe_load(f)
161     f.close()
162     db_url = functest_yaml.get("results").get("test_db_url")
163     return db_url
164
165
166 def push_results_to_db(project, case_name, logger,
167                        start_date, stop_date, criteria, details):
168     """
169     POST results to the Result target DB
170     """
171     # Retrieve params from CI and conf
172     url = get_db_url(logger) + "/results"
173     installer = get_installer_type(logger)
174     scenario = get_scenario(logger)
175     version = get_version(logger)
176     pod_name = get_pod_name(logger)
177     build_tag = get_build_tag(logger)
178     test_start = dt.fromtimestamp(start_date).strftime('%Y-%m-%d %H:%M:%S')
179     test_stop = dt.fromtimestamp(stop_date).strftime('%Y-%m-%d %H:%M:%S')
180
181     params = {"project_name": project, "case_name": case_name,
182               "pod_name": pod_name, "installer": installer,
183               "version": version, "scenario": scenario, "criteria": criteria,
184               "build_tag": build_tag, "start_date": test_start,
185               "stop_date": test_stop, "details": details}
186
187     headers = {'Content-Type': 'application/json'}
188     try:
189         r = requests.post(url, data=json.dumps(params), headers=headers)
190         if logger:
191             logger.debug(r)
192         return True
193     except Exception, e:
194         print ("Error [push_results_to_db('%s', '%s', '%s', " +
195                "'%s', '%s', '%s', '%s', '%s', '%s')]:" %
196                (url, project, case_name, pod_name, version,
197                 scenario, criteria, build_tag, details)), e
198         return False
199
200
201 def get_resolvconf_ns():
202     """
203     Get nameservers from current resolv.conf
204     """
205     nameservers = []
206     rconf = open("/etc/resolv.conf", "r")
207     line = rconf.readline()
208     while line:
209         ip = re.search(r"\b(?:[0-9]{1,3}\.){3}[0-9]{1,3}\b", line)
210         sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
211         if ip:
212             result = sock.connect_ex((ip.group(), 53))
213             if result == 0:
214                 nameservers.append(ip.group())
215         line = rconf.readline()
216     return nameservers
217
218
219 def get_ci_envvars():
220     """
221     Get the CI env variables
222     """
223     ci_env_var = {
224         "installer": os.environ.get('INSTALLER_TYPE'),
225         "scenario": os.environ.get('DEPLOY_SCENARIO')}
226     return ci_env_var
227
228
229 def execute_command(cmd, logger=None,
230                     exit_on_error=True,
231                     info=False,
232                     error_msg="",
233                     verbose=True):
234     if not error_msg:
235         error_msg = ("The command '%s' failed." % cmd)
236     msg_exec = ("Executing command: '%s'" % cmd)
237     if verbose:
238         if logger:
239             if info:
240                 logger.info(msg_exec)
241             else:
242                 logger.debug(msg_exec)
243         else:
244             print(msg_exec)
245     p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE)
246     while True:
247         output = p.stdout.readline()
248         line = output.replace('\n', '')
249         if not line:
250             break
251         if logger:
252             if info:
253                 logger.info(line)
254             else:
255                 logger.debug(line)
256         else:
257             print line
258     p.communicate()
259     if p.returncode != 0:
260         if verbose:
261             if logger:
262                 logger.error(error_msg)
263             else:
264                 print(error_msg)
265         if exit_on_error:
266             sys.exit(1)
267
268     return p.returncode
269
270
271 def get_deployment_dir(logger=None):
272     """
273     Returns current Rally deployment directory
274     """
275     with open(os.environ["CONFIG_FUNCTEST_YAML"]) as f:
276         functest_yaml = yaml.safe_load(f)
277     f.close()
278     deployment_name = functest_yaml.get("rally").get("deployment_name")
279     rally_dir = functest_yaml.get("general").get("directories").get(
280         "dir_rally_inst")
281     cmd = ("rally deployment list | awk '/" + deployment_name +
282            "/ {print $2}'")
283     p = subprocess.Popen(cmd, shell=True,
284                          stdout=subprocess.PIPE,
285                          stderr=subprocess.STDOUT)
286     deployment_uuid = p.stdout.readline().rstrip()
287     if deployment_uuid == "":
288         if logger:
289             logger.error("Rally deployment not found.")
290         exit(-1)
291     deployment_dir = (rally_dir + "/tempest/for-deployment-" +
292                       deployment_uuid)
293     return deployment_dir
294
295
296 def get_criteria_by_test(testname):
297     criteria = ""
298     file = FUNCTEST_REPO + "/ci/testcases.yaml"
299     tiers = tb.TierBuilder("", "", file)
300     for tier in tiers.get_tiers():
301         for test in tier.get_tests():
302             if test.get_name() == testname:
303                 criteria = test.get_criteria()
304
305     return criteria
306
307
308 # ----------------------------------------------------------
309 #
310 #               YAML UTILS
311 #
312 # -----------------------------------------------------------
313 def get_parameter_from_yaml(parameter, file=None):
314     """
315     Returns the value of a given parameter in config_functest.yaml
316     parameter must be given in string format with dots
317     Example: general.openstack.image_name
318     """
319     if file is None:
320         file = os.environ["CONFIG_FUNCTEST_YAML"]
321     with open(file) as f:
322         functest_yaml = yaml.safe_load(f)
323     f.close()
324     value = functest_yaml
325     for element in parameter.split("."):
326         value = value.get(element)
327         if value is None:
328             raise ValueError("The parameter %s is not defined in"
329                              " config_functest.yaml" % parameter)
330     return value