playbooks/roles/bmra-config/templates/kube-node.j2

   1 {#
   2 SPDX-FileCopyrightText: 2021 Intel Corporation
   3
   4 SPDX-License-Identifier: Apache-2.0
   5 #}
   6
   7 ---
   8 # Kubernetes node configuration
   9
  10 # Enable IOMMU (required for SR-IOV networking)
  11 iommu_enabled: {{ bmra.features.sriov.enable }}
  12
  13 # dataplane interface configuration list
  14 {% if bmra.network_roles.sriov is defined or bmra.network_roles.sriov_dpdk is defined %}
  15 dataplane_interfaces:
  16 {% for intf in bmra.network_roles.sriov %}
  17   - name: {{ intf.name }}
  18     bus_info: "{{ intf.pci }}"
  19     pf_driver: {{ intf.pf_driver }}
  20     default_vf_driver: "{{ intf.vf_driver }}"
  21     sriov_numvfs: {{ bmra.features.sriov.sriov_vfs_per_port }}
  22 {% endfor %}
  23 {% for intf in bmra.network_roles.sriov_dpdk %}
  24   - name: {{ intf.name }}
  25     bus_info: "{{ intf.pci }}"
  26     pf_driver: {{ intf.pf_driver }}
  27     default_vf_driver: "{{ intf.vf_driver }}"
  28     sriov_numvfs: {{ bmra.features.sriov.sriov_dpdk_vfs_per_port }}
  29 {% endfor %}
  30 {% else %}
  31 dataplane_interface: []
  32 {% endif %}
  33
  34 sriov_cni_enabled: {{ bmra.features.sriov_cni }}
  35
  36 # Bond CNI
  37 bond_cni_enabled: {{ bmra.features.bond_cni }}
  38
  39 # Install DPDK (required for SR-IOV networking)
  40 install_dpdk: true
  41
  42 # DPDK version
  43 dpdk_version: "19.11.6"
  44
  45 # Custom DPDK patches local path
  46 # dpdk_local_patches_dir: "/tmp/patches/dpdk-19.11.6"
  47
  48 # Userspace networking
  49 userspace_cni_enabled: false
  50 ovs_dpdk_enabled: false # Should be enabled with Userspace CNI, when VPP is set to "false"; 1G hugepages required
  51 ovs_version: "v2.13.0"
  52 # CPU mask for OVS-DPDK PMD threads
  53 ovs_dpdk_lcore_mask: 0x1
  54 # Huge memory pages allocated by OVS-DPDK per NUMA node in megabytes
  55 # example 1: "256,512" will allocate 256MB from node 0 abd 512MB from node 1
  56 # example 2: "1024" will allocate 1GB fron node 0 on a single socket board, e.g. in a VM
  57 ovs_dpdk_socket_mem: "256,0"
  58 vpp_enabled: false # Should be enabled with Userspace CNI, when ovs_dpdk is set to "false"; 2M hugepages required
  59
  60 # Set to 'true' to update i40e, ice and iavf kernel modules
  61 update_nic_drivers: false
  62
  63 # Set 'true' to update NIC firmware
  64 update_nic_firmware: false
  65
  66 # Additional list of NIC interfaces that the FW update will be executed on
  67 # NOTE: FW update will be also executed on all NICs listed in "dataplane_interfaces[*].name"
  68 firmware_update_nics: []
  69 #  - enp24s0f0
  70 #  - enp24s0f1
  71
  72 # install Intel x700 & x800 series NICs DDP packages
  73 install_ddp_packages: false
  74 # set 'true' to enable custom ddp package to be loaded after reboot
  75 enable_ice_systemd_service: false
  76 # Enabling this feature will install QAT drivers + services
  77 update_qat_drivers: {{ bmra.features.qat.update_drivers }}
  78
  79 # qat interface configuration list
  80 {% if bmra.device_roles.qat is defined %}
  81 qat_devices:
  82 {% for dev in bmra.device_roles.qat %}
  83   - qat_dev: {{ dev.name }}
  84     qat_id: "{{ dev.pci }}"
  85     qat_module_type: {{ dev.mod_type }}
  86     qat_pci_type: {{ dev.pci_type }}
  87     qat_sriov_numvfs: {{ dev.vfs }}
  88 {% endfor %}
  89 {% else %}
  90 qat_devices: []
  91 {% endif %}
  92 #  - qat_dev: crypto01                # Device name as separate QAT Symmetric Crypto devices on which qat_sriov_numvfs will be distributed
  93 #    qat_id: "0000:ab:00.0"           # Device QAT id one using DPDK compatible driver for VF devices to be used by vfio-pci kernel driver, replace as required
  94 #    qat_module_type: qat_c62x        # QAT Crypto Poll Mode Kernel Module supported are qat_dh895xcc,qat_c62x,qat_c3xxx,qat_200xx,qat_c4xxx,qat_d15xx
  95 #    qat_pci_type: c6xx               # QAT Crypto Poll Mode Pci Driver id supported are dh895xcc,c6xx,c3xxx,d15xx,200xx & c4xxx
  96 #    qat_sriov_numvfs: 12             # set how many VFs per qat_id to be created such as c6xxvf support 32 so per device will be 10+10+12=32, replace as required
  97                                      # Note: If don't want to assign VFs to id leave it as 0 such as qat_sriov_numvfs: 0
  98 #  - qat_dev: crypto02
  99 #    qat_id: "0000:xy:00.0"
 100 #    qat_module_type: qat_c62x
 101 #    qat_pci_type: c6xx
 102 #    qat_sriov_numvfs: 10
 103
 104 #  - qat_dev: crypto03
 105 #    qat_id: "0000:yz:00.0"
 106 #    qat_module_type: qat_c62x
 107 #    qat_pci_type: c6xx
 108 #    qat_sriov_numvfs: 10
 109
 110 # Enables hugepages support
 111 hugepages_enabled: {{ bmra.features.hugepages.enable }}
 112
 113 # Hugepage sizes available: 2M, 1G
 114 default_hugepage_size: {{ bmra.features.hugepages.default }}
 115
 116 # Sets how many hugepages of each size should be created
 117 hugepages_1G: {{ bmra.features.hugepages.hugepages_1G }}
 118 hugepages_2M: {{ bmra.features.hugepages.hugepages_2M }}
 119
 120 # CPU isolation from Linux scheduler
 121 isolcpus_enabled: {{ bmra.features.isolcpus.enable }}
 122 # Disable CMKs autogenerate_isolcpus in group_vars to set custom isolcpus range; Otherwise this range will be automatically generated
 123 # If defining range and using CMK you must account group_vars requested exclusive/shared cores
 124 isolcpus: "{{ bmra.features.isolcpus.cpus }}"
 125
 126 # Native CPU Manager (Kubernetes built-in)
 127
 128 native_cpu_manager_system_reserved_cpus: 2000m
 129 # Amount of CPU cores that will be reserved for Kubelet
 130 native_cpu_manager_kube_reserved_cpus: 1000m
 131 # Explicit list of the CPUs reserved from pods scheduling.
 132 # Note: Supported only with kube_version 1.17 and newer, overrides native_cpu_manager_system_reserved_cpus and native_cpu_manager_kube_reserved_cpus.
 133 #native_cpu_manager_reserved_cpus: "0,1,2"
 134 # Note: All reamining unreserved CPU cores will be consumed by the workloads.
 135
 136 # Enable/Disable Intel PState scaling driver
 137 intel_pstate_enabled: true
 138 # Config options for intel_pstate: disable, passive, force, no_hwp, hwp_only, support_acpi_ppc, per_cpu_perf_limits
 139 intel_pstate: hwp_only
 140 # Enable/Disable Intel Turbo Boost PState attribute
 141 turbo_boost_enabled: false
 142
 143 # Intel Speed Select Base-Frequency configuration.
 144 sst_bf_configuration_enabled: false
 145
 146 # Intel Speed Select Base-Frequency configuration for Cascade Lake (CLX) Platforms.
 147 # CLX support of SST-BF requires 'intel_pstate' to be 'enabled'
 148 # Option clx_sst_bf_mode requires sst_bf_configuration_enabled to be set to 'true'.
 149 # There are three configuration modes:
 150 # [s] Set SST-BF config (set min/max to 2700/2700 and 2100/2100)
 151 # [m] Set P1 on all cores (set min/max to 2300/2300)
 152 # [r] Revert cores to min/Turbo (set min/max to 800/3900)
 153 clx_sst_bf_mode: s
 154
 155 # Intel Speed Select Base-Frequency configuration for Ice Lake (ICX) Platforms.
 156 # [true] Enable Intel Speed Select Base Frequency (SST-BF)
 157 # [false] Disable Intel Speed Select Base Frequency (SST-BF)
 158 # Requires `sst_bf_configuration_enabled` variable to be 'true'
 159 icx_sst_bf_enabled: false
 160 # Prioritze (SST-CP) power flow to high frequency cores in case of CPU power constraints.
 161 icx_sst_bf_with_core_priority: false
 162
 163 # SST CP config
 164 # Variables are only examples.
 165 # For more information, please visit:
 166 # https://www.kernel.org/doc/html/latest/admin-guide/pm/intel-speed-select.html#enable-clos-based-prioritization
 167 # Enabling this configuration overrides `icx_sst_bf_with_core_priority`.
 168 sst_cp_configuration_enabled: false
 169 sst_cp_priority_type: 0 # 0 - Proportional, 1 - Ordered
 170 sst_cp_clos_groups: # configure up to 4 CLOS groups
 171   - id: 0
 172     frequency_weight: 0 # used only with Proportional type
 173     min_MHz: 0
 174     max_MHz: 25500
 175   - id: 1
 176     frequency_weight: 0 # used only with Proportional type
 177     min_MHz: 0
 178     max_MHz: 25500
 179   - id: 2
 180     frequency_weight: 0 # used only with Proportional type
 181     min_MHz: 0
 182     max_MHz: 25500
 183   - id: 3
 184     frequency_weight: 0 # used only with Proportional type
 185     min_MHz: 0
 186     max_MHz: 25500
 187 sst_cp_cpu_clos:
 188   - clos: 0
 189     cpus: 1,2,4..6,8-10
 190   - clos: 1
 191     cpus: 3,7
 192
 193
 194 # (CentOS 7 only) install real time kernel and related packages for flexran
 195 install_real_time_package: false
 196
 197 # Intel Software Guard Extensions (SGX)
 198 sgx_enabled: false
 199
 200 # Telemetry configuration
 201 # intel_pmu plugin collects information provided by Linux perf interface.
 202 enable_intel_pmu_plugin: false
 203 # CPU Threads to be monitored by Intel PMU Plugin.
 204 # If the field is empty, all available cores will be monitored.
 205 # Please refer to https://collectd.org/wiki/index.php/Plugin:Intel_PMU for configuration details.
 206 intel_pmu_plugin_monitored_cores: ""
 207 # CPU Threads to be monitored by Intel RDT Plugin.
 208 # If the field is empty, all available cores will be monitored.
 209 # Please refer to https://collectd.org/wiki/index.php/Plugin:IntelRDT for configuration details.
 210 intel_rdt_plugin_monitored_cores: ""
 211
 212 # Additional list of plugins that will be excluded from collectd deployment.
 213 exclude_collectd_plugins: []