mcp/scripts/xdf_data.sh.j2

   1 #!/bin/bash -e
   2 # shellcheck disable=SC2034
   3 ##############################################################################
   4 # Copyright (c) 2018 Mirantis Inc., Enea AB and others.
   5 # All rights reserved. This program and the accompanying materials
   6 # are made available under the terms of the Apache License, Version 2.0
   7 # which accompanies this distribution, and is available at
   8 # http://www.apache.org/licenses/LICENSE-2.0
   9 ##############################################################################
  10 #
  11 # Data derived from XDF (PDF/IDF/SDF/etc), used as input in deploy.sh
  12 #
  13
  14 {%- import 'net_map.j2' as nm with context -%}
  15 {%- set cluster_states = conf.cluster.states if conf.MCP_NO_DEPLOY_ENVIRONMENT < 2 else [] -%}
  16 {%- set arch = conf[conf.MCP_JUMP_ARCH] -%}
  17 {%- set V = conf.virtual -%}
  18 {%- set section_map = {
  19   'control': nm.ctl01.idx,
  20   'compute': nm.cmp001.idx
  21 } -%}
  22
  23 {%- macro bash_arr(_l) -%}
  24   ({%- for n in _l -%}'{{ n }}' {% endfor -%})
  25 {%- endmacro -%}
  26
  27 {#- Pack list as `sep`-separated string, replacing spaces with '|' -#}
  28 {%- macro pack(x = [], sep = ',') -%}
  29   {{ x | join(sep) | replace(' ', '|') }}
  30 {%- endmacro -%}
  31
  32 {#- Pack all vnode data as string -#}
  33 {%- macro serialize_vnodes() -%}
  34   {%- set arr = [] -%}
  35   {%- for section in section_map -%}
  36     {%- for n in V.nodes[section] or [] -%}
  37       {%- if ( section_map[section] < conf.nodes | length and
  38                conf.nodes[section_map[section] + loop.index0].node.type == 'virtual' ) -%}
  39         {%- if n not in V -%}{%- do V.update({n: {}}) -%}{%- endif -%}
  40         {%- set cpu_topo = 'cpu_topology' in V[n] and not conf.MCP_CMP_SS -%}
  41         {%- if 'numa' in V[n] and cpu_topo -%}
  42           {%- for k, v in V[n].numa.iteritems() -%}
  43             {%- set c = pack([k, v.memory, v.cpus]) -%}
  44             {%- do V[n].update({'s_numa': c if 's_numa' not in V[n] else pack([c, V[n].s_numa])}) -%}
  45           {%- endfor -%}
  46         {%- endif -%}
  47         {%- do arr.append(pack([n, V[n].ram or arch.default.ram,
  48                                    V[n].vcpus or arch.default.vcpus,
  49                                    '' if not cpu_topo else pack([
  50                                        V[n].cpu_topology.sockets,
  51                                        V[n].cpu_topology.cores,
  52                                        V[n].cpu_topology.threads,
  53                                        '' if 's_numa' not in V[n] else V[n].s_numa])])) -%}
  54       {%- endif -%}
  55     {%- endfor -%}
  56   {%- endfor -%}
  57   '{{ pack(arr, '|') }}'
  58 {%- endmacro -%}
  59
  60 {#- Return a bash array of node names or a Salt query, optionally filtered by type #}
  61 {%- macro filter_nodes(type, output_as_query = False, sections = section_map) -%}
  62   {%- set arr = [] -%}
  63   {%- for section in sections -%}
  64     {%- for n in V.nodes[section] or [] -%}
  65       {%- if ( section_map[section] < conf.nodes | length and
  66                conf.nodes[section_map[section] + loop.index0].node.type in type ) -%}
  67         {%- do arr.append(n) -%}
  68       {%- endif -%}
  69     {%- endfor -%}
  70   {%- endfor -%}
  71   {%- if output_as_query -%}
  72   '{{ arr | join('* or ') }}*'
  73   {%- else -%}
  74   {{ bash_arr(arr) }}
  75   {%- endif -%}
  76 {%- endmacro -%}
  77
  78 {#- Pack apt_pkg data as string -#}
  79 {%- macro serialize_apt_pkg() -%}
  80   {%- set arr = [] -%}
  81   {%- set sections = [arch.common] -%}
  82   {%- if conf.MCP_VCP or '-vcp-' in conf.MCP_DEPLOY_SCENARIO -%}
  83     {%- do sections.append(arch.control) -%}
  84   {%- endif -%}
  85   {%- for c in sections -%}
  86     {%- do arr.append(pack([pack(c.apt['keys']), pack(c.apt.repos),
  87                             pack(c.pkg.install), pack(c.pkg.remove)], '^')) -%}
  88   {%- endfor -%}
  89   '{{ pack(arr, '^') }}'
  90 {%- endmacro -%}
  91
  92 {%- set bridges = conf.idf.fuel.jumphost.bridges %}
  93 # Determine bridge names based on IDF, where all bridges are now mandatory
  94 OPNFV_BRIDGES=(
  95   '{{ bridges.admin or "pxebr" }}'
  96   '{{ bridges.mgmt or "mgmt" }}'
  97   '{{ bridges.private or "internal" }}'
  98   '{{ bridges.public or "public" }}'
  99 )
 100
 101 export CLUSTER_DOMAIN={{ conf.cluster.domain }}
 102 cluster_states={{ bash_arr(arch.default.cluster.states + cluster_states) }}
 103 virtual_nodes={{ filter_nodes('virtual') }}
 104 control_nodes_query={{ filter_nodes(['baremetal', 'virtual'], True, ['control']) }}
 105 base_image={{ arch.base_image }}
 106
 107 # Serialize vnode data as:
 108 #   <name0>,<ram0>,<vcpu0>[,<sockets0>,<cores0>,<threads0>[,<cell0name0>,<cell0memory0>,
 109 #   <cell0cpus0>,<cell1name0>,<cell1memory0>,<cell1cpus0>]]|<name1>,...'
 110 virtual_nodes_data={{ serialize_vnodes() }}
 111
 112 # Serialize repos, packages to (pre-)install/remove for:
 113 # - foundation node VM base image (virtual: all VMs, baremetal: cfg01|mas01)
 114 # - virtualized control plane VM base image (only when VCP is used)
 115 virtual_repos_pkgs={{ serialize_apt_pkg() }}