ci/deploy.sh

   1 #!/bin/bash -e
   2 # shellcheck disable=SC2034,SC2154,SC1090,SC1091
   3 ##############################################################################
   4 # Copyright (c) 2017 Ericsson AB, Mirantis Inc., Enea AB and others.
   5 # jonas.bjurel@ericsson.com
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Apache License, Version 2.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.apache.org/licenses/LICENSE-2.0
  10 ##############################################################################
  11
  12 ##############################################################################
  13 # BEGIN of Exit handlers
  14 #
  15 do_exit () {
  16     local RC=$?
  17     cleanup_mounts > /dev/null 2>&1
  18     if [ ${RC} -eq 0 ]; then
  19         notify_n "[OK] MCP: Openstack installation finished succesfully!" 2
  20     else
  21         notify_n "[ERROR] MCP: Openstack installation threw a fatal error!"
  22     fi
  23 }
  24 #
  25 # End of Exit handlers
  26 ##############################################################################
  27
  28 ##############################################################################
  29 # BEGIN of usage description
  30 #
  31 usage ()
  32 {
  33 cat << EOF
  34 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  35 $(notify "$(basename "$0"): Deploy the Fuel@OPNFV MCP stack" 3)
  36
  37 $(notify "USAGE:" 2)
  38   $(basename "$0") -l lab-name -p pod-name -s deploy-scenario \\
  39     [-b Lab Config Base URI] \\
  40     [-S storage-dir] [-L /path/to/log/file.tar.gz] \\
  41     [-f[f]] [-F] [-e | -E[E]] [-d] [-D]
  42
  43 $(notify "OPTIONS:" 2)
  44   -b  Base-uri for the stack-configuration structure
  45   -d  Dry-run
  46   -D  Debug logging
  47   -e  Do not launch environment deployment
  48   -E  Remove existing VCP VMs (use twice to redeploy baremetal nodes)
  49   -f  Deploy on existing Salt master (use twice to also skip config sync)
  50   -F  Do only create a Salt master
  51   -h  Print this message and exit
  52   -l  Lab-name
  53   -p  Pod-name
  54   -P  Skip installation of package dependencies
  55   -s  Deploy-scenario short-name
  56   -S  Storage dir for VM images
  57   -L  Deployment log path and file name
  58
  59 $(notify_i "Description:" 2)
  60 Deploys the Fuel@OPNFV stack on the indicated lab resource.
  61
  62 This script provides the Fuel@OPNFV deployment abstraction.
  63 It depends on the OPNFV official configuration directory/file structure
  64 and provides a fairly simple mechanism to execute a deployment.
  65
  66 $(notify_i "Input parameters to the build script are:" 2)
  67 -b Base URI to the configuration directory (needs to be provided in URI style,
  68    it can be a local resource: file:// or a remote resource http(s)://).
  69    A POD Descriptor File (PDF) and its Installer Descriptor File (IDF)
  70    companion should be available at:
  71    <base-uri>/labs/<lab-name>/<pod-name>.yaml
  72    <base-uri>/labs/<lab-name>/idf-<pod-name>.yaml
  73    The default is using the git submodule tracking 'OPNFV Pharos' in
  74    <./mcp/scripts/pharos>.
  75    An example config is provided inside current repo in
  76    <./mcp/config>, automatically linked as <./mcp/scripts/pharos/labs/local>.
  77 -d Dry-run - Produce deploy config files, but do not execute deploy
  78 -D Debug logging - Enable extra logging in sh deploy scripts (set -x)
  79 -e Do not launch environment deployment
  80 -E Remove existing VCP VMs. It will destroy and undefine all VCP VMs
  81    currently defined on cluster KVM nodes. If specified twice (e.g. -E -E),
  82    baremetal nodes (VCP too, implicitly) will be removed, then reprovisioned.
  83    Only applicable for baremetal deploys.
  84 -f Deploy on existing Salt master. It will skip infrastructure VM creation,
  85    but it will still sync reclass configuration from current repo to Salt
  86    Master node. If specified twice (e.g. -f -f), config sync will also be
  87    skipped.
  88 -F Do only create a Salt master
  89 -h Print this message and exit
  90 -L Deployment log path and name, eg. -L /home/jenkins/job.log.tar.gz
  91 -l Lab name as defined in the configuration directory, e.g. lf
  92 -p POD name as defined in the configuration directory, e.g. pod2
  93 -P Skip installing dependency distro packages on current host
  94    This flag should only be used if you have kept back older packages that
  95    would be upgraded and that is undesirable on the current system.
  96    Note that without the required packages, deploy will fail.
  97 -s Deployment-scenario, this points to a short deployment scenario name, which
  98    has to be defined in config directory (e.g. os-odl-nofeature-ha).
  99 -S Storage dir for VM images, default is mcp/deploy/images
 100
 101 $(notify_i "[NOTE] sudo & virsh priviledges are needed for this script to run" 3)
 102
 103 Example:
 104
 105 $(notify_i "sudo $(basename "$0") \\
 106   -b file:///home/jenkins/securedlab \\
 107   -l lf -p pod2 \\
 108   -s os-odl-nofeature-ha" 2)
 109 EOF
 110 }
 111
 112 #
 113 # END of usage description
 114 ##############################################################################
 115
 116 ##############################################################################
 117 # BEGIN of variables to customize
 118 #
 119 CI_DEBUG=${CI_DEBUG:-0}; [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 120 REPO_ROOT_PATH=$(readlink -f "$(dirname "${BASH_SOURCE[0]}")/..")
 121 DEPLOY_DIR=$(cd "${REPO_ROOT_PATH}/mcp/scripts"; pwd)
 122 STORAGE_DIR=$(cd "${REPO_ROOT_PATH}/mcp/deploy/images"; pwd)
 123 RECLASS_CLUSTER_DIR=$(cd "${REPO_ROOT_PATH}/mcp/reclass/classes/cluster"; pwd)
 124 DEPLOY_TYPE='baremetal'
 125 BR_NAMES=('admin' 'mgmt' 'private' 'public')
 126 OPNFV_BRIDGES=('pxebr' 'mgmt' 'internal' 'public')
 127 URI_REGEXP='(file|https?|ftp)://.*'
 128 BASE_CONFIG_URI="file://${REPO_ROOT_PATH}/mcp/scripts/pharos"
 129
 130 # Customize deploy workflow
 131 DRY_RUN=${DRY_RUN:-0}
 132 USE_EXISTING_PKGS=${USE_EXISTING_PKGS:-0}
 133 USE_EXISTING_INFRA=${USE_EXISTING_INFRA:-0}
 134 INFRA_CREATION_ONLY=${INFRA_CREATION_ONLY:-0}
 135 NO_DEPLOY_ENVIRONMENT=${NO_DEPLOY_ENVIRONMENT:-0}
 136 ERASE_ENV=${ERASE_ENV:-0}
 137
 138 source "${DEPLOY_DIR}/globals.sh"
 139 source "${DEPLOY_DIR}/lib.sh"
 140
 141 #
 142 # END of variables to customize
 143 ##############################################################################
 144
 145 ##############################################################################
 146 # BEGIN of main
 147 #
 148 set +x
 149 while getopts "b:dDfEFl:L:p:Ps:S:he" OPTION
 150 do
 151     case $OPTION in
 152         b)
 153             BASE_CONFIG_URI=${OPTARG}
 154             if [[ ! $BASE_CONFIG_URI =~ ${URI_REGEXP} ]]; then
 155                 notify "[ERROR] -b $BASE_CONFIG_URI - invalid URI"
 156                 usage
 157                 exit 1
 158             fi
 159             ;;
 160         d)
 161             DRY_RUN=1
 162             ;;
 163         D)
 164             CI_DEBUG=1
 165             ;;
 166         f)
 167             ((USE_EXISTING_INFRA+=1))
 168             ;;
 169         F)
 170             INFRA_CREATION_ONLY=1
 171             ;;
 172         e)
 173             NO_DEPLOY_ENVIRONMENT=1
 174             ;;
 175         E)
 176             ((ERASE_ENV+=1))
 177             ;;
 178         l)
 179             TARGET_LAB=${OPTARG}
 180             ;;
 181         L)
 182             DEPLOY_LOG="${OPTARG}"
 183             ;;
 184         p)
 185             TARGET_POD=${OPTARG}
 186             if [[ "${TARGET_POD}" =~ virtual ]]; then
 187                 DEPLOY_TYPE='virtual'
 188                 # All vPODs will use 'local-virtual1' PDF/IDF for now
 189                 TARGET_LAB='local'
 190                 TARGET_POD='virtual1'
 191             fi
 192             ;;
 193         P)
 194             USE_EXISTING_PKGS=1
 195             ;;
 196         s)
 197             DEPLOY_SCENARIO=${OPTARG}
 198             ;;
 199         S)
 200             if [[ ${OPTARG} ]]; then
 201                 STORAGE_DIR="${OPTARG}"
 202             fi
 203             ;;
 204         h)
 205             usage
 206             exit 0
 207             ;;
 208         *)
 209             notify_e "[ERROR] Unsupported arg, see -h for help"
 210             ;;
 211     esac
 212 done
 213
 214 if [[ "$(sudo whoami)" != 'root' ]]; then
 215     notify_e "[ERROR] This script requires sudo rights"
 216 fi
 217
 218 # Validate mandatory arguments are set
 219 if [ -z "${TARGET_LAB}" ] || [ -z "${TARGET_POD}" ] || \
 220    [ -z "${DEPLOY_SCENARIO}" ]; then
 221     usage
 222     notify_e "[ERROR] At least one of the mandatory args is missing!"
 223 fi
 224
 225 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 226
 227 # Enable the automatic exit trap
 228 trap do_exit SIGINT SIGTERM EXIT
 229
 230 # Set no restrictive umask so that Jenkins can remove any residuals
 231 umask 0000
 232
 233 pushd "${DEPLOY_DIR}" > /dev/null
 234 # Prepare the deploy config files based on lab/pod information, deployment
 235 # scenario, etc.
 236
 237 # Install required packages on jump server
 238 if [ ${USE_EXISTING_PKGS} -eq 1 ]; then
 239     notify "[NOTE] Skipping distro pkg installation" 2
 240 else
 241     notify "[NOTE] Installing required distro pkgs" 2
 242     if [ -n "$(command -v apt-get)" ]; then
 243       pkg_type='deb'; pkg_cmd='sudo apt-get install -y'
 244     else
 245       pkg_type='rpm'; pkg_cmd='sudo yum install -y --skip-broken'
 246     fi
 247     eval "$(parse_yaml "./requirements_${pkg_type}.yaml")"
 248     for section in 'common' "${DEPLOY_TYPE}" "$(uname -m)"; do
 249       section_var="requirements_pkg_${section}[*]"
 250       pkg_list+=" ${!section_var}"
 251     done
 252     # shellcheck disable=SC2086
 253     ${pkg_cmd} ${pkg_list}
 254 fi
 255
 256 if ! virsh list >/dev/null 2>&1; then
 257     notify_e "[ERROR] This script requires hypervisor access"
 258 fi
 259
 260 # Collect jump server system information for deploy debugging
 261 ./sysinfo_print.sh
 262
 263 # Clone git submodules and apply our patches
 264 make -C "${REPO_ROOT_PATH}/mcp/patches" deepclean patches-import
 265
 266 # Convert Pharos-compatible POD Descriptor File (PDF) to reclass model input
 267 PHAROS_GEN_CONFIG_SCRIPT="./pharos/config/utils/generate_config.py"
 268 PHAROS_INSTALLER_ADAPTER="./pharos/config/installers/fuel/pod_config.yml.j2"
 269 BASE_CONFIG_PDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/${TARGET_POD}.yaml"
 270 BASE_CONFIG_IDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/idf-${TARGET_POD}.yaml"
 271 LOCAL_PDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_PDF}")"
 272 LOCAL_IDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_IDF}")"
 273 LOCAL_PDF_RECLASS="${STORAGE_DIR}/pod_config.yml"
 274 rm -f "${LOCAL_PDF_RECLASS}"
 275 ln -sf "$(readlink -f "../config/labs/local")" "./pharos/labs/"
 276 if ! curl --create-dirs -o "${LOCAL_PDF}" "${BASE_CONFIG_PDF}"; then
 277     notify_e "[ERROR] Could not retrieve PDF (Pod Descriptor File)!"
 278 elif ! curl -o "${LOCAL_IDF}" "${BASE_CONFIG_IDF}"; then
 279     notify_e "[ERROR] Could not retrieve IDF (Installer Descriptor File)!"
 280 elif ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 281     -j "${PHAROS_INSTALLER_ADAPTER}" > "${LOCAL_PDF_RECLASS}"; then
 282     notify_e "[ERROR] Could not convert PDF+IDF to reclass model input!"
 283 fi
 284
 285 # Check scenario file existence
 286 SCENARIO_DIR="../config/scenario"
 287 if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 288     notify_e "[ERROR] Scenario definition file is missing!"
 289 fi
 290
 291 # Check defaults file existence
 292 if [ ! -f  "${SCENARIO_DIR}/defaults-$(uname -i).yaml" ]; then
 293     notify_e "[ERROR] Scenario defaults file is missing!"
 294 fi
 295
 296 # Get required infra deployment data
 297 set +x
 298 eval "$(parse_yaml "${SCENARIO_DIR}/defaults-$(uname -i).yaml")"
 299 eval "$(parse_yaml "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml")"
 300 eval "$(parse_yaml "${LOCAL_PDF_RECLASS}")"
 301 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 302
 303 export CLUSTER_DOMAIN=${cluster_domain}
 304
 305 # Serialize vnode data as '<name0>,<ram0>,<vcpu0>|<name1>,<ram1>,<vcpu1>[...]'
 306 for node in "${virtual_nodes[@]}"; do
 307     virtual_custom_ram="virtual_${node}_ram"
 308     virtual_custom_vcpus="virtual_${node}_vcpus"
 309     virtual_nodes_data+="${node},"
 310     virtual_nodes_data+="${!virtual_custom_ram:-$virtual_default_ram},"
 311     virtual_nodes_data+="${!virtual_custom_vcpus:-$virtual_default_vcpus}|"
 312 done
 313 virtual_nodes_data=${virtual_nodes_data%|}
 314
 315 # Serialize repos, packages to (pre-)install/remove for:
 316 # - foundation node VM base image (virtual: all VMs, baremetal: cfg01|mas01)
 317 # - virtualized control plane VM base image (only when VCP is used)
 318 base_image_flavors=common
 319 if [[ "${cluster_states[*]}" =~ virtual_control ]]; then
 320   base_image_flavors+=" control"
 321 fi
 322 for sc in ${base_image_flavors}; do
 323   for va in apt_keys apt_repos pkg_install pkg_remove; do
 324     key=virtual_${sc}_${va}
 325     eval "${key}=\${${key}[@]// /|}"
 326     eval "${key}=\${${key}// /,}"
 327     virtual_repos_pkgs+="${!key}^"
 328   done
 329 done
 330 virtual_repos_pkgs=${virtual_repos_pkgs%^}
 331
 332 # Expand reclass and virsh network templates
 333 for tp in "${RECLASS_CLUSTER_DIR}/all-mcp-arch-common/opnfv/"*.template \
 334     net_*.template; do
 335         eval "cat <<-EOF
 336                 $(<"${tp}")
 337                 EOF" 2> /dev/null > "${tp%.template}"
 338 done
 339
 340 # Convert Pharos-compatible PDF to reclass network definitions
 341 find "${RECLASS_CLUSTER_DIR}" -name '*.j2' | while read -r tp
 342 do
 343     if ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 344       -j "${tp}" > "${tp%.j2}"; then
 345          notify_e "[ERROR] Could not convert PDF to reclass network defs!"
 346     fi
 347 done
 348
 349 # Determine 'admin', 'mgmt', 'private' and 'public' bridge names based on IDF
 350 for ((i = 0; i < ${#BR_NAMES[@]}; i++)); do
 351     br_jump=$(eval echo "\$parameters__param_opnfv_jump_bridge_${BR_NAMES[i]}")
 352     if [ -n "${br_jump}" ] && [ "${br_jump}" != 'None' ]; then
 353         OPNFV_BRIDGES[${i}]="${br_jump}"
 354     fi
 355 done
 356 notify "[NOTE] Using bridges: ${OPNFV_BRIDGES[*]}" 2
 357
 358 # Infra setup
 359 if [ ${DRY_RUN} -eq 1 ]; then
 360     notify "[NOTE] Dry run, skipping all deployment tasks" 2
 361     exit 0
 362 elif [ ${USE_EXISTING_INFRA} -gt 0 ]; then
 363     notify "[NOTE] Use existing infra" 2
 364     check_connection
 365 else
 366     generate_ssh_key
 367     prepare_vms "${base_image}" "${STORAGE_DIR}" "${virtual_repos_pkgs}" \
 368       "${virtual_nodes[@]}"
 369     create_networks "${OPNFV_BRIDGES[@]}"
 370     do_sysctl_cfg
 371     create_vms "${STORAGE_DIR}" "${virtual_nodes_data}" "${OPNFV_BRIDGES[@]}"
 372     update_mcpcontrol_network
 373     start_vms "${virtual_nodes[@]}"
 374     check_connection
 375 fi
 376 if [ ${USE_EXISTING_INFRA} -lt 2 ]; then
 377     wait_for 5 "./salt.sh ${LOCAL_PDF_RECLASS}"
 378 fi
 379
 380 # Openstack cluster setup
 381 set +x
 382 if [ ${INFRA_CREATION_ONLY} -eq 1 ] || [ ${NO_DEPLOY_ENVIRONMENT} -eq 1 ]; then
 383     notify "[NOTE] Skip openstack cluster setup" 2
 384 else
 385     for state in "${cluster_states[@]}"; do
 386         notify "[STATE] Applying state: ${state}" 2
 387         # shellcheck disable=SC2086,2029
 388         wait_for 5 "ssh ${SSH_OPTS} ${SSH_SALT} sudo \
 389             CI_DEBUG=$CI_DEBUG ERASE_ENV=$ERASE_ENV \
 390             /root/fuel/mcp/config/states/${state}"
 391     done
 392 fi
 393
 394 ./log.sh "${DEPLOY_LOG}"
 395
 396 popd > /dev/null
 397
 398 #
 399 # END of main
 400 ##############################################################################