Add http(s)_proxy handling to apex
[apex.git] / apex / common / utils.py
1 ##############################################################################
2 # Copyright (c) 2016 Tim Rozet (trozet@redhat.com) and others.
3 #
4 # All rights reserved. This program and the accompanying materials
5 # are made available under the terms of the Apache License, Version 2.0
6 # which accompanies this distribution, and is available at
7 # http://www.apache.org/licenses/LICENSE-2.0
8 ##############################################################################
9
10 import datetime
11 import distro
12 import json
13 import logging
14 import os
15 import pprint
16 import subprocess
17 import tarfile
18 import time
19 import urllib.error
20 import urllib.request
21 import urllib.parse
22 import yaml
23
24
25 def str2bool(var):
26     if isinstance(var, bool):
27         return var
28     else:
29         return var.lower() in ("true", "yes")
30
31
32 def parse_yaml(yaml_file):
33     with open(yaml_file) as f:
34         parsed_dict = yaml.safe_load(f)
35         return parsed_dict
36
37
38 def dump_yaml(data, file):
39     """
40     Dumps data to a file as yaml
41     :param data: yaml to be written to file
42     :param file: filename to write to
43     :return:
44     """
45     logging.debug("Writing file {} with "
46                   "yaml data:\n{}".format(file, yaml.safe_dump(data)))
47     with open(file, "w") as fh:
48         yaml.safe_dump(data, fh, default_flow_style=False)
49
50
51 def dict_objects_to_str(dictionary):
52         if isinstance(dictionary, list):
53             tmp_list = []
54             for element in dictionary:
55                 if isinstance(element, dict):
56                     tmp_list.append(dict_objects_to_str(element))
57                 else:
58                     tmp_list.append(str(element))
59             return tmp_list
60         elif not isinstance(dictionary, dict):
61             if not isinstance(dictionary, bool):
62                 return str(dictionary)
63             else:
64                 return dictionary
65         return dict((k, dict_objects_to_str(v)) for
66                     k, v in dictionary.items())
67
68
69 def run_ansible(ansible_vars, playbook, host='localhost', user='root',
70                 tmp_dir=None, dry_run=False):
71     """
72     Executes ansible playbook and checks for errors
73     :param ansible_vars: dictionary of variables to inject into ansible run
74     :param playbook: playbook to execute
75     :param tmp_dir: temp directory to store ansible command
76     :param dry_run: Do not actually apply changes
77     :return: None
78     """
79     logging.info("Executing ansible playbook: {}".format(playbook))
80     inv_host = "{},".format(host)
81     if host == 'localhost':
82         conn_type = 'local'
83     else:
84         conn_type = 'smart'
85     ansible_command = ['ansible-playbook', '--become', '-i', inv_host,
86                        '-u', user, '-c', conn_type, '-T', '30',
87                        playbook, '-vv']
88     if dry_run:
89         ansible_command.append('--check')
90
91     if isinstance(ansible_vars, dict) and ansible_vars:
92         logging.debug("Ansible variables to be set:\n{}".format(
93             pprint.pformat(ansible_vars)))
94         ansible_command.append('--extra-vars')
95         ansible_command.append(json.dumps(ansible_vars))
96         if tmp_dir:
97             ansible_tmp = os.path.join(tmp_dir,
98                                        os.path.basename(playbook) + '.rerun')
99             # FIXME(trozet): extra vars are printed without single quotes
100             # so a dev has to add them manually to the command to rerun
101             # the playbook.  Need to test if we can just add the single quotes
102             # to the json dumps to the ansible command and see if that works
103             with open(ansible_tmp, 'w') as fh:
104                 fh.write("ANSIBLE_HOST_KEY_CHECKING=FALSE {}".format(
105                     ' '.join(ansible_command)))
106
107     my_env = os.environ.copy()
108     my_env['ANSIBLE_HOST_KEY_CHECKING'] = 'False'
109     logging.info("Executing playbook...this may take some time")
110     p = subprocess.Popen(ansible_command,
111                          stdin=subprocess.PIPE,
112                          stdout=subprocess.PIPE,
113                          bufsize=1,
114                          env=my_env,
115                          universal_newlines=True)
116     # read first line
117     x = p.stdout.readline()
118     # initialize task
119     task = ''
120     while x:
121         # append lines to task
122         task += x
123         # log the line and read another
124         x = p.stdout.readline()
125         # deliver the task to info when we get a blank line
126         if not x.strip():
127             task += x
128             logging.info(task.replace('\\n', '\n'))
129             task = ''
130             x = p.stdout.readline()
131     # clean up and get return code
132     p.stdout.close()
133     rc = p.wait()
134     if rc:
135         # raise errors
136         e = "Ansible playbook failed. See Ansible logs for details."
137         logging.error(e)
138         raise Exception(e)
139
140
141 def fetch_upstream_and_unpack(dest, url, targets):
142     """
143     Fetches targets from a url destination and downloads them if they are
144     newer.  Also unpacks tar files in dest dir.
145     :param dest: Directory to download and unpack files to
146     :param url: URL where target files are located
147     :param targets: List of target files to download
148     :return: None
149     """
150     os.makedirs(dest, exist_ok=True)
151     assert isinstance(targets, list)
152     for target in targets:
153         download_target = True
154         target_url = urllib.parse.urljoin(url, target)
155         target_dest = os.path.join(dest, target)
156         logging.debug("Fetching and comparing upstream target: \n{}".format(
157             target_url))
158         try:
159             u = urllib.request.urlopen(target_url)
160         except urllib.error.URLError as e:
161             logging.error("Failed to fetch target url. Error: {}".format(
162                 e.reason))
163             raise
164         if os.path.isfile(target_dest):
165             logging.debug("Previous file found: {}".format(target_dest))
166             metadata = u.info()
167             headers = metadata.items()
168             target_url_date = None
169             for header in headers:
170                 if isinstance(header, tuple) and len(header) == 2:
171                     if header[0] == 'Last-Modified':
172                         target_url_date = header[1]
173                         break
174             if target_url_date is not None:
175                 target_dest_mtime = os.path.getmtime(target_dest)
176                 target_url_mtime = time.mktime(
177                     datetime.datetime.strptime(target_url_date,
178                                                "%a, %d %b %Y %X "
179                                                "GMT").timetuple())
180                 if target_url_mtime > target_dest_mtime:
181                     logging.debug('URL target is newer than disk...will '
182                                   'download')
183                 else:
184                     logging.info('URL target does not need to be downloaded')
185                     download_target = False
186             else:
187                 logging.debug('Unable to find last modified url date')
188         if download_target:
189             urllib.request.urlretrieve(target_url, filename=target_dest)
190             logging.info("Target downloaded: {}".format(target))
191         if target.endswith('.tar'):
192             logging.info('Unpacking tar file')
193             tar = tarfile.open(target_dest)
194             tar.extractall(path=dest)
195             tar.close()
196
197
198 def install_ansible():
199     # we only install for CentOS/Fedora for now
200     dist = distro.id()
201     if 'centos' in dist:
202         pkg_mgr = 'yum'
203     elif 'fedora' in dist:
204         pkg_mgr = 'dnf'
205     else:
206         return
207
208     # yum python module only exists for 2.x, so use subprocess
209     try:
210         subprocess.check_call([pkg_mgr, '-y', 'install', 'ansible'])
211     except subprocess.CalledProcessError:
212         logging.warning('Unable to install Ansible')