mcp/patches/0011-system.repo-Debian-Add-keyserver-proxy-support.patch

   1 ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
   2 : Copyright (c) 2018 Mirantis Inc., Enea AB and others.
   3 :
   4 : All rights reserved. This program and the accompanying materials
   5 : are made available under the terms of the Apache License, Version 2.0
   6 : which accompanies this distribution, and is available at
   7 : http://www.apache.org/licenses/LICENSE-2.0
   8 ::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::
   9 From: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
  10 Date: Sun, 3 Jun 2018 19:28:18 +0200
  11 Subject: [PATCH] system.repo: Debian: Use proxy for keyservers
  12
  13 Previously, when fetching GPG keys for APT keyring, either using
  14 public key download & import (as for default repos) or via keyserver,
  15 we relied on simple `curl` calls or passed it down to Salt aptpkg
  16 module.
  17 To be able to retrieve APT keys behind a proxy, one used to have to
  18 configure the proxy for the Salt minion, which does not yet have
  19 `no_proxy` support (either *all* or *no* traffic hits the proxy).
  20
  21 When `linux:system:proxy` http(s) proxies are set:
  22 - no longer pass key configuration to Salt aptpkg (until it properly
  23   supports `no_proxy`);
  24 - handle all keys explicitly with `curl` and `apt-key`;
  25 - set 'http(s)_proxy' env vars for `cmd.wait` calls;
  26
  27 If `linux:system:proxy` is not defined, the behavior is
  28 unchanged for backwards compatibility.
  29
  30 NOTE: If present, per-repo proxies are also used for keyserver access.
  31
  32 system.repo: Fix conditions order for Debian proxy
  33
  34 Signed-off-by: Alexandru Avadanii <Alexandru.Avadanii@enea.com>
  35 ---
  36  linux/system/repo.sls | 71 +++++++++++++++++++++++++++++++++----------
  37  1 file changed, 55 insertions(+), 16 deletions(-)
  38
  39 diff --git a/linux/system/repo.sls b/linux/system/repo.sls
  40 index 8b93ecb..bbfbde3 100644
  41 --- a/linux/system/repo.sls
  42 +++ b/linux/system/repo.sls
  43 @@ -5,9 +5,15 @@ linux_repo_prereq_pkgs:
  44    pkg.installed:
  45    - pkgs: {{ system.pkgs }}
  46
  47 +{%- set proxies = {'system': {}, 'repo': {}} %}
  48 +
  49  # global proxy setup
  50 -{%- if system.proxy.get('pkg', {}).get('enabled', False) %}
  51  {%- if grains.os_family == 'Debian' %}
  52 +{%- if system.proxy.get('pkg', {}).get('enabled', False) %}
  53 +
  54 +{%- do proxies.system.update({'https': system.proxy.get('pkg', {}).get('https', None) | default(system.proxy.get('https', None), true)}) %}
  55 +{%- do proxies.system.update({'http': system.proxy.get('pkg', {}).get('http', None) | default(system.proxy.get('http', None), true)}) %}
  56 +{%- do proxies.system.update({'ftp': system.proxy.get('pkg', {}).get('ftp', None) | default(system.proxy.get('ftp', None), true)}) %}
  57
  58  /etc/apt/apt.conf.d/99proxies-salt:
  59    file.managed:
  60 @@ -15,9 +21,9 @@ linux_repo_prereq_pkgs:
  61    - source: salt://linux/files/apt.conf.d_proxies
  62    - defaults:
  63        external_host: False
  64 -      https: {{ system.proxy.get('pkg', {}).get('https', None) | default(system.proxy.get('https', None), true) }}
  65 -      http: {{ system.proxy.get('pkg', {}).get('http', None) | default(system.proxy.get('http', None), true) }}
  66 -      ftp: {{ system.proxy.get('pkg', {}).get('ftp', None) | default(system.proxy.get('ftp', None), true) }}
  67 +      https: {{ proxies.system.https }}
  68 +      http: {{ proxies.system.http }}
  69 +      ftp: {{ proxies.system.ftp }}
  70
  71  {%- else %}
  72
  73 @@ -25,9 +31,6 @@ linux_repo_prereq_pkgs:
  74    file.absent
  75
  76  {%- endif %}
  77 -{%- endif %}
  78 -
  79 -{% set default_repos = {} %}
  80
  81  {%- if system.purge_repos|default(False) %}
  82
  83 @@ -38,6 +41,10 @@ purge_sources_list_d_repos:
  84
  85  {%- endif %}
  86
  87 +{%- endif %}
  88 +
  89 +{% set default_repos = {} %}
  90 +
  91  {%- for name, repo in system.repo.items() %}
  92  {%- set name=repo.get('name', name) %}
  93  {%- if grains.os_family == 'Debian' %}
  94 @@ -45,16 +52,20 @@ purge_sources_list_d_repos:
  95  # per repository proxy setup
  96  {%- if repo.get('proxy', {}).get('enabled', False) %}
  97  {%- set external_host = repo.proxy.get('host', None) or repo.source.split('/')[2] %}
  98 +{%- do proxies.repo.update({'https': repo.proxy.get('https', None) or system.proxy.get('pkg', {}).get('https', None) | default(system.proxy.get('https', None), true)}) %}
  99 +{%- do proxies.repo.update({'http': repo.proxy.get('http', None) or system.proxy.get('pkg', {}).get('http', None) | default(system.proxy.get('http', None), true)}) %}
 100 +{%- do proxies.repo.update({'ftp': repo.proxy.get('ftp', None) or system.proxy.get('pkg', {}).get('ftp', None) | default(system.proxy.get('ftp', None), true)}) %}
 101  /etc/apt/apt.conf.d/99proxies-salt-{{ name }}:
 102    file.managed:
 103    - template: jinja
 104    - source: salt://linux/files/apt.conf.d_proxies
 105    - defaults:
 106        external_host: {{ external_host }}
 107 -      https: {{ repo.proxy.get('https', None) or system.proxy.get('pkg', {}).get('https', None) | default(system.proxy.get('https', None), True) }}
 108 -      http: {{ repo.proxy.get('http', None) or system.proxy.get('pkg', {}).get('http', None) | default(system.proxy.get('http', None), True) }}
 109 -      ftp: {{ repo.proxy.get('ftp', None) or system.proxy.get('pkg', {}).get('ftp', None) | default(system.proxy.get('ftp', None), True) }}
 110 +      https: {{ proxies.repo.https }}
 111 +      http: {{ proxies.repo.http }}
 112 +      ftp: {{ proxies.repo.ftp }}
 113  {%- else %}
 114 +{%- do proxies.repo.update({'https': None, 'http': None, 'ftp': None}) %}
 115  /etc/apt/apt.conf.d/99proxies-salt-{{ name }}:
 116    file.absent
 117  {%- endif %}
 118 @@ -81,10 +92,8 @@ linux_repo_{{ name }}_pin:
 119
 120  linux_repo_{{ name }}_key:
 121    cmd.run:
 122 -    - name: |
 123 -            echo "{{ repo.key | indent(12) }}" | apt-key add -
 124 -    - unless: |
 125 -            apt-key finger --with-colons | grep -qF $(echo "{{ repo.key| indent(12) }}" | gpg --with-fingerprint --with-colons | grep -E '^fpr')
 126 +    - name: "echo '{{ repo.key | indent(12) }}' | apt-key add -"
 127 +    - unless: "apt-key finger --with-colons | grep -qF $(echo '{{ repo.key| indent(12) }}' | gpg --with-fingerprint --with-colons | grep -E '^fpr')"
 128      - require_in:
 129      {%- if repo.get('default', False) %}
 130        - file: default_repo_list
 131 @@ -104,6 +113,13 @@ linux_repo_{{ name }}_key:
 132      {% else %}
 133        - pkgrepo: linux_repo_{{ name }}
 134      {% endif %}
 135 +    - env:
 136 +{%- if proxies.repo.get('https', None) or proxies.system.get('https', None) %}
 137 +      - https_proxy: {{ proxies.repo.get('https', None) or proxies.system.get('https', None) }}
 138 +{%- endif %}
 139 +{%- if proxies.repo.get('http', None) or proxies.system.get('http', None) %}
 140 +      - http_proxy: {{ proxies.repo.get('http', None) or proxies.system.get('http', None) }}
 141 +{%- endif %}
 142
 143  {%- endif %} {# 2 #}
 144
 145 @@ -114,6 +130,10 @@ linux_repo_{{ name }}_key:
 146
 147  {%- if repo.get('enabled', True) %}
 148
 149 +{%- set use_proxy = ( ( proxies.repo.get('https', None) or proxies.system.get('https', None) or
 150 +                        proxies.repo.get('http', None) or proxies.system.get('http', None) ) and
 151 +                        repo.key_id is defined and repo.key_server is defined ) %}
 152 +
 153  linux_repo_{{ name }}:
 154    pkgrepo.managed:
 155    {%- if repo.ppa is defined %}
 156 @@ -126,10 +146,10 @@ linux_repo_{{ name }}:
 157    {%- endif %}
 158    - file: /etc/apt/sources.list.d/{{ name }}.list
 159    - clean_file: {{ repo.clean|default(True) }}
 160 -  {%- if repo.key_id is defined %}
 161 +  {%- if not use_proxy and repo.key_id is defined %}
 162    - keyid: {{ repo.key_id }}
 163    {%- endif %}
 164 -  {%- if repo.key_server is defined %}
 165 +  {%- if not use_proxy and repo.key_server is defined %}
 166    - keyserver: {{ repo.key_server }}
 167    {%- endif %}
 168    - consolidate: {{ repo.get('consolidate', False) }}
 169 @@ -148,6 +168,25 @@ linux_repo_{{ name }}:
 170    {%- endif %}
 171    {%- endif %}
 172
 173 +{%- if use_proxy and repo.key_id is defined and repo.key_server is defined %}
 174 +
 175 +linux_repo_{{ name }}_key:
 176 +  cmd.run:
 177 +    - name: "apt-key adv --keyserver {{ repo.key_server }} --recv {{ repo.key_id }}"
 178 +    - unless: 'test -e /etc/apt/sources.list.d/{{ name }}.list'
 179 +    - require_in:
 180 +      - pkgrepo: linux_repo_{{ name }}
 181 +    - env:
 182 +{%- if proxies.repo.get('https', None) or proxies.system.get('https', None) %}
 183 +      - https_proxy: {{ proxies.repo.get('https', None) or proxies.system.get('https', None) }}
 184 +{%- endif %}
 185 +{%- if proxies.repo.get('http', None) or proxies.system.get('http', None) %}
 186 +      - http_proxy: {{ proxies.repo.get('http', None) or proxies.system.get('http', None) }}
 187 +{%- endif %}
 188 +
 189 +{%- endif %}
 190 +
 191 +{#- repo.enabled is false #}
 192  {%- else %}
 193
 194  linux_repo_{{ name }}_absent: