ci/deploy.sh

   1 #!/bin/bash -e
   2 # shellcheck disable=SC2034,SC2154,SC1090,SC1091
   3 ##############################################################################
   4 # Copyright (c) 2017 Ericsson AB, Mirantis Inc., Enea AB and others.
   5 # jonas.bjurel@ericsson.com
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Apache License, Version 2.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.apache.org/licenses/LICENSE-2.0
  10 ##############################################################################
  11
  12 ##############################################################################
  13 # BEGIN of Exit handlers
  14 #
  15 do_exit () {
  16     local RC=$?
  17     cleanup_mounts > /dev/null 2>&1
  18     if [ ${RC} -eq 0 ]; then
  19         notify "\n[OK] MCP: Openstack installation finished succesfully!\n\n" 2
  20     else
  21         notify "\n[ERROR] MCP: Openstack installation threw a fatal error!\n\n"
  22     fi
  23 }
  24 #
  25 # End of Exit handlers
  26 ##############################################################################
  27
  28 ##############################################################################
  29 # BEGIN of usage description
  30 #
  31 usage ()
  32 {
  33 cat << EOF
  34 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  35 $(notify "$(basename "$0"): Deploy the Fuel@OPNFV MCP stack" 3)
  36
  37 $(notify "USAGE:" 2)
  38   $(basename "$0") -b base-uri -l lab-name -p pod-name -s deploy-scenario \\
  39     [-B PXE Bridge [-B Mgmt Bridge [-B Internal Bridge [-B Public Bridge]]]] \\
  40     [-S storage-dir] [-L /path/to/log/file.tar.gz] \\
  41     [-f[f]] [-F] [-e | -E[E]] [-d] [-D]
  42
  43 $(notify "OPTIONS:" 2)
  44   -b  Base-uri for the stack-configuration structure
  45   -B  Bridge(s): 1st usage = PXE, 2nd = Mgmt, 3rd = Internal, 4th = Public
  46   -d  Dry-run
  47   -D  Debug logging
  48   -e  Do not launch environment deployment
  49   -E  Remove existing VCP VMs (use twice to redeploy baremetal nodes)
  50   -f  Deploy on existing Salt master (use twice to also skip config sync)
  51   -F  Do only create a Salt master
  52   -h  Print this message and exit
  53   -l  Lab-name
  54   -p  Pod-name
  55   -P  Skip installation of package dependencies
  56   -s  Deploy-scenario short-name
  57   -S  Storage dir for VM images
  58   -L  Deployment log path and file name
  59
  60 $(notify "Description:" 2)
  61 Deploys the Fuel@OPNFV stack on the indicated lab resource.
  62
  63 This script provides the Fuel@OPNFV deployment abstraction.
  64 It depends on the OPNFV official configuration directory/file structure
  65 and provides a fairly simple mechanism to execute a deployment.
  66
  67 $(notify "Input parameters to the build script are:" 2)
  68 -b Base URI to the configuration directory (needs to be provided in URI style,
  69    it can be a local resource: file:// or a remote resource http(s)://).
  70    A POD Descriptor File (PDF) should be available at:
  71    <base-uri>/labs/<lab-name>/<pod-name>.yaml
  72    The default is './mcp/config'.
  73 -B Bridges to be used by deploy script. It can be specified several times,
  74    or as a comma separated list of bridges, or both: -B br1 -B br2,br3
  75    First occurence sets PXE Brige, next Mgmt, then Internal and Public.
  76    For an empty value, the deploy script will use virsh to create the default
  77    expected network (e.g. -B pxe,,,public will use existing "pxe" and "public"
  78    bridges, respectively create "mgmt" and "internal").
  79    Note that a virtual network "mcpcontrol" is always created. For virtual
  80    deploys, "mcpcontrol" is also used for PXE, leaving the PXE bridge unused.
  81    For baremetal deploys, PXE bridge is used for baremetal node provisioning,
  82    while "mcpcontrol" is used to provision the infrastructure VMs only.
  83    The default is 'pxebr'.
  84 -d Dry-run - Produce deploy config files, but do not execute deploy
  85 -D Debug logging - Enable extra logging in sh deploy scripts (set -x)
  86 -e Do not launch environment deployment
  87 -E Remove existing VCP VMs. It will destroy and undefine all VCP VMs
  88    currently defined on cluster KVM nodes. If specified twice (e.g. -E -E),
  89    baremetal nodes (VCP too, implicitly) will be removed, then reprovisioned.
  90    Only applicable for baremetal deploys.
  91 -f Deploy on existing Salt master. It will skip infrastructure VM creation,
  92    but it will still sync reclass configuration from current repo to Salt
  93    Master node. If specified twice (e.g. -f -f), config sync will also be
  94    skipped.
  95 -F Do only create a Salt master
  96 -h Print this message and exit
  97 -L Deployment log path and name, eg. -L /home/jenkins/job.log.tar.gz
  98 -l Lab name as defined in the configuration directory, e.g. lf
  99 -p POD name as defined in the configuration directory, e.g. pod2
 100 -P Skip installing dependency distro packages on current host
 101    This flag should only be used if you have kept back older packages that
 102    would be upgraded and that is undesirable on the current system.
 103    Note that without the required packages, deploy will fail.
 104 -s Deployment-scenario, this points to a short deployment scenario name, which
 105    has to be defined in config directory (e.g. os-odl-nofeature-ha).
 106 -S Storage dir for VM images, default is mcp/deploy/images
 107
 108 $(notify "[NOTE] sudo & virsh priviledges are needed for this script to run" 3)
 109
 110 Example:
 111
 112 $(notify "sudo $(basename "$0") \\
 113   -b file:///home/jenkins/securedlab \\
 114   -l lf -p pod2 \\
 115   -s os-odl-nofeature-ha" 2)
 116 EOF
 117 }
 118
 119 #
 120 # END of usage description
 121 ##############################################################################
 122
 123 ##############################################################################
 124 # BEGIN of colored notification wrapper
 125 #
 126 notify() {
 127     tput setaf "${2:-1}" || true
 128     echo -en "${1:-"[WARN] Unsupported opt arg: $3\\n"}"
 129     tput sgr0
 130 }
 131 #
 132 # END of colored notification wrapper
 133 ##############################################################################
 134
 135 ##############################################################################
 136 # BEGIN of variables to customize
 137 #
 138 CI_DEBUG=${CI_DEBUG:-0}; [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 139 REPO_ROOT_PATH=$(readlink -f "$(dirname "${BASH_SOURCE[0]}")/..")
 140 DEPLOY_DIR=$(cd "${REPO_ROOT_PATH}/mcp/scripts"; pwd)
 141 STORAGE_DIR=$(cd "${REPO_ROOT_PATH}/mcp/deploy/images"; pwd)
 142 RECLASS_CLUSTER_DIR=$(cd "${REPO_ROOT_PATH}/mcp/reclass/classes/cluster"; pwd)
 143 DEPLOY_TYPE='baremetal'
 144 OPNFV_BRIDGES=('pxebr' 'mgmt' 'internal' 'public')
 145 URI_REGEXP='(file|https?|ftp)://.*'
 146 BASE_CONFIG_URI="file://${REPO_ROOT_PATH}/mcp/config"
 147
 148 # Customize deploy workflow
 149 DRY_RUN=${DRY_RUN:-0}
 150 USE_EXISTING_PKGS=${USE_EXISTING_PKGS:-0}
 151 USE_EXISTING_INFRA=${USE_EXISTING_INFRA:-0}
 152 INFRA_CREATION_ONLY=${INFRA_CREATION_ONLY:-0}
 153 NO_DEPLOY_ENVIRONMENT=${NO_DEPLOY_ENVIRONMENT:-0}
 154 ERASE_ENV=${ERASE_ENV:-0}
 155
 156 source "${DEPLOY_DIR}/globals.sh"
 157 source "${DEPLOY_DIR}/lib.sh"
 158
 159 #
 160 # END of variables to customize
 161 ##############################################################################
 162
 163 ##############################################################################
 164 # BEGIN of main
 165 #
 166 set +x
 167 OPNFV_BRIDGE_IDX=0
 168 while getopts "b:B:dDfEFl:L:p:Ps:S:he" OPTION
 169 do
 170     case $OPTION in
 171         b)
 172             BASE_CONFIG_URI=${OPTARG}
 173             if [[ ! $BASE_CONFIG_URI =~ ${URI_REGEXP} ]]; then
 174                 notify "[ERROR] -b $BASE_CONFIG_URI - invalid URI\n"
 175                 usage
 176                 exit 1
 177             fi
 178             ;;
 179         B)
 180             OIFS=${IFS}
 181             IFS=','
 182             OPT_BRIDGES=($OPTARG)
 183             for bridge in "${OPT_BRIDGES[@]}"; do
 184                 if [ -n "${bridge}" ]; then
 185                     OPNFV_BRIDGES[${OPNFV_BRIDGE_IDX}]="${bridge}"
 186                 fi
 187                 ((OPNFV_BRIDGE_IDX+=1))
 188             done
 189             IFS=${OIFS}
 190             ;;
 191         d)
 192             DRY_RUN=1
 193             ;;
 194         D)
 195             CI_DEBUG=1
 196             ;;
 197         f)
 198             ((USE_EXISTING_INFRA+=1))
 199             ;;
 200         F)
 201             INFRA_CREATION_ONLY=1
 202             ;;
 203         e)
 204             NO_DEPLOY_ENVIRONMENT=1
 205             ;;
 206         E)
 207             ((ERASE_ENV+=1))
 208             ;;
 209         l)
 210             TARGET_LAB=${OPTARG}
 211             ;;
 212         L)
 213             DEPLOY_LOG="${OPTARG}"
 214             ;;
 215         p)
 216             TARGET_POD=${OPTARG}
 217             if [[ "${TARGET_POD}" =~ "virtual" ]]; then
 218                 DEPLOY_TYPE='virtual'
 219             fi
 220             ;;
 221         P)
 222             USE_EXISTING_PKGS=1
 223             ;;
 224         s)
 225             DEPLOY_SCENARIO=${OPTARG}
 226             ;;
 227         S)
 228             if [[ ${OPTARG} ]]; then
 229                 STORAGE_DIR="${OPTARG}"
 230             fi
 231             ;;
 232         h)
 233             usage
 234             exit 0
 235             ;;
 236         *)
 237             notify "[ERROR] Arguments not according to new argument style\n"
 238             exit 1
 239             ;;
 240     esac
 241 done
 242
 243 if [[ "$(sudo whoami)" != 'root' ]]; then
 244     notify "[ERROR] This script requires sudo rights\n" 1>&2
 245     exit 1
 246 fi
 247
 248 # Validate mandatory arguments are set
 249 if [ -z "${TARGET_LAB}" ] || [ -z "${TARGET_POD}" ] || \
 250    [ -z "${DEPLOY_SCENARIO}" ]; then
 251     notify "[ERROR] At least one of the mandatory args is missing!\n" 1>&2
 252     usage
 253     exit 1
 254 fi
 255
 256 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 257
 258 # Enable the automatic exit trap
 259 trap do_exit SIGINT SIGTERM EXIT
 260
 261 # Set no restrictive umask so that Jenkins can remove any residuals
 262 umask 0000
 263
 264 pushd "${DEPLOY_DIR}" > /dev/null
 265 # Prepare the deploy config files based on lab/pod information, deployment
 266 # scenario, etc.
 267
 268 # Install required packages on jump server
 269 if [ ${USE_EXISTING_PKGS} -eq 1 ]; then
 270     notify "[NOTE] Skipping distro pkg installation\n" 2 1>&2
 271 else
 272     notify "[NOTE] Installing required distro pkgs\n" 2 1>&2
 273     if [ -n "$(command -v apt-get)" ]; then
 274       pkg_type='deb'; pkg_cmd='sudo apt-get install -y'
 275     else
 276       pkg_type='rpm'; pkg_cmd='sudo yum install -y --skip-broken'
 277     fi
 278     eval "$(parse_yaml "./requirements_${pkg_type}.yaml")"
 279     for section in 'common' "${DEPLOY_TYPE}" "$(uname -m)"; do
 280       section_var="requirements_pkg_${section}[*]"
 281       pkg_list+=" ${!section_var}"
 282     done
 283     # shellcheck disable=SC2086
 284     ${pkg_cmd} ${pkg_list}
 285 fi
 286
 287 if ! virsh list >/dev/null 2>&1; then
 288     notify "[ERROR] This script requires hypervisor access\n" 1>&2
 289     exit 1
 290 fi
 291
 292 # Collect jump server system information for deploy debugging
 293 ./sysinfo_print.sh
 294
 295 # Clone git submodules and apply our patches
 296 make -C "${REPO_ROOT_PATH}/mcp/patches" deepclean patches-import
 297
 298 # Convert Pharos-compatible POD Descriptor File (PDF) to reclass model input
 299 PHAROS_GEN_CONFIG_SCRIPT="./pharos/config/utils/generate_config.py"
 300 PHAROS_INSTALLER_ADAPTER="./pharos/config/installers/fuel/pod_config.yml.j2"
 301 BASE_CONFIG_PDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/${TARGET_POD}.yaml"
 302 BASE_CONFIG_IDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/idf-${TARGET_POD}.yaml"
 303 LOCAL_PDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_PDF}")"
 304 LOCAL_IDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_IDF}")"
 305 LOCAL_PDF_RECLASS="${STORAGE_DIR}/pod_config.yml"
 306 if ! curl --create-dirs -o "${LOCAL_PDF}" "${BASE_CONFIG_PDF}"; then
 307     if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 308         notify "[ERROR] Could not retrieve PDF (Pod Descriptor File)!\n" 1>&2
 309         exit 1
 310     else
 311         notify "[WARN] Could not retrieve PDF (Pod Descriptor File)!\n" 3
 312     fi
 313 elif ! curl -o "${LOCAL_IDF}" "${BASE_CONFIG_IDF}"; then
 314     notify "[WARN] POD has no IDF (Installer Descriptor File)!\n" 3
 315 elif ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 316     -j "${PHAROS_INSTALLER_ADAPTER}" > "${LOCAL_PDF_RECLASS}"; then
 317     notify "[ERROR] Could not convert PDF to reclass model input!\n" 1>&2
 318     exit 1
 319 fi
 320
 321 # Check scenario file existence
 322 SCENARIO_DIR="../config/scenario"
 323 if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 324     notify "[WARN] ${DEPLOY_SCENARIO}.yaml not found!\n" 3
 325     notify "[WARN] Setting simplest scenario (os-nosdn-nofeature-noha)\n" 3
 326     DEPLOY_SCENARIO='os-nosdn-nofeature-noha'
 327     if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 328         notify "[ERROR] Scenario definition file is missing!\n" 1>&2
 329         exit 1
 330     fi
 331 fi
 332
 333 # Check defaults file existence
 334 if [ ! -f  "${SCENARIO_DIR}/defaults-$(uname -i).yaml" ]; then
 335     notify "[ERROR] Scenario defaults file is missing!\n" 1>&2
 336     exit 1
 337 fi
 338
 339 # Get required infra deployment data
 340 set +x
 341 eval "$(parse_yaml "${SCENARIO_DIR}/defaults-$(uname -i).yaml")"
 342 eval "$(parse_yaml "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml")"
 343 eval "$(parse_yaml "${LOCAL_PDF_RECLASS}")"
 344 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 345
 346 export CLUSTER_DOMAIN=${cluster_domain}
 347
 348 # Serialize vnode data as '<name0>,<ram0>,<vcpu0>|<name1>,<ram1>,<vcpu1>[...]'
 349 for node in "${virtual_nodes[@]}"; do
 350     virtual_custom_ram="virtual_${node}_ram"
 351     virtual_custom_vcpus="virtual_${node}_vcpus"
 352     virtual_nodes_data+="${node},"
 353     virtual_nodes_data+="${!virtual_custom_ram:-$virtual_default_ram},"
 354     virtual_nodes_data+="${!virtual_custom_vcpus:-$virtual_default_vcpus}|"
 355 done
 356 virtual_nodes_data=${virtual_nodes_data%|}
 357
 358 # Serialize repos, packages to (pre-)install/remove for:
 359 # - foundation node VM base image (virtual: all VMs, baremetal: cfg01|mas01)
 360 # - virtualized control plane VM base image (only when VCP is used)
 361 base_image_flavors=common
 362 if [[ "${cluster_states[*]}" =~ virtual_control ]]; then
 363   base_image_flavors+=" control"
 364 fi
 365 for sc in ${base_image_flavors}; do
 366   for va in apt_keys apt_repos pkg_install pkg_remove; do
 367     key=virtual_${sc}_${va}
 368     eval "${key}=\${${key}[@]// /|}"
 369     eval "${key}=\${${key}// /,}"
 370     virtual_repos_pkgs+="${!key}^"
 371   done
 372 done
 373 virtual_repos_pkgs=${virtual_repos_pkgs%^}
 374
 375 # Expand reclass and virsh network templates
 376 for tp in "${RECLASS_CLUSTER_DIR}/all-mcp-arch-common/opnfv/"*.template \
 377     net_*.template; do
 378         eval "cat <<-EOF
 379                 $(<"${tp}")
 380                 EOF" 2> /dev/null > "${tp%.template}"
 381 done
 382
 383 # Convert Pharos-compatible PDF to reclass network definitions
 384 if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 385     find "${RECLASS_CLUSTER_DIR}" -name '*.j2' | while read -r tp
 386     do
 387         if ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 388           -j "${tp}" > "${tp%.j2}"; then
 389              notify "[ERROR] Could not convert PDF to reclass network defs!\n"
 390              exit 1
 391         fi
 392     done
 393 fi
 394
 395 # Map PDF networks 'admin', 'mgmt', 'private' and 'public' to bridge names
 396 BR_NAMES=('admin' 'mgmt' 'private' 'public')
 397 BR_NETS=( \
 398     "${paramaters__param_opnfv_infra_maas_pxe_address}" \
 399     "${parameters__param_opnfv_infra_config_address}" \
 400     "${parameters__param_opnfv_openstack_compute_node01_tenant_address}" \
 401     "${parameters__param_opnfv_openstack_compute_node01_external_address}" \
 402 )
 403 for ((i = 0; i < ${#BR_NETS[@]}; i++)); do
 404     br_jump=$(eval echo "\$parameters__param_opnfv_jump_bridge_${BR_NAMES[i]}")
 405     if [ -n "${br_jump}" ] && [ "${br_jump}" != 'None' ] && \
 406        [ -d "/sys/class/net/${br_jump}/bridge" ]; then
 407             notify "[OK] Bridge found for '${BR_NAMES[i]}': ${br_jump}\n" 2
 408             OPNFV_BRIDGES[${i}]="${br_jump}"
 409     elif [ -n "${BR_NETS[i]}" ]; then
 410         bridge=$(ip addr | awk "/${BR_NETS[i]%.*}./ {print \$NF; exit}")
 411         if [ -n "${bridge}" ] && [ -d "/sys/class/net/${bridge}/bridge" ]; then
 412             notify "[OK] Bridge found for net ${BR_NETS[i]%.*}.0: ${bridge}\n" 2
 413             OPNFV_BRIDGES[${i}]="${bridge}"
 414         fi
 415     fi
 416 done
 417 notify "[NOTE] Using bridges: ${OPNFV_BRIDGES[*]}\n" 2
 418
 419 # Infra setup
 420 if [ ${DRY_RUN} -eq 1 ]; then
 421     notify "[NOTE] Dry run, skipping all deployment tasks\n" 2 1>&2
 422     exit 0
 423 elif [ ${USE_EXISTING_INFRA} -gt 0 ]; then
 424     notify "[NOTE] Use existing infra\n" 2 1>&2
 425     check_connection
 426 else
 427     generate_ssh_key
 428     prepare_vms "${base_image}" "${STORAGE_DIR}" "${virtual_repos_pkgs}" \
 429       "${virtual_nodes[@]}"
 430     create_networks "${OPNFV_BRIDGES[@]}"
 431     create_vms "${STORAGE_DIR}" "${virtual_nodes_data}" "${OPNFV_BRIDGES[@]}"
 432     update_mcpcontrol_network
 433     start_vms "${virtual_nodes[@]}"
 434     check_connection
 435 fi
 436 if [ ${USE_EXISTING_INFRA} -lt 2 ]; then
 437     wait_for 5 "./salt.sh ${LOCAL_PDF_RECLASS}"
 438 fi
 439
 440 # Openstack cluster setup
 441 set +x
 442 if [ ${INFRA_CREATION_ONLY} -eq 1 ] || [ ${NO_DEPLOY_ENVIRONMENT} -eq 1 ]; then
 443     notify "[NOTE] Skip openstack cluster setup\n" 2
 444 else
 445     for state in "${cluster_states[@]}"; do
 446         notify "[STATE] Applying state: ${state}\n" 2
 447         # shellcheck disable=SC2086,2029
 448         wait_for 5 "ssh ${SSH_OPTS} ${SSH_SALT} sudo \
 449             CI_DEBUG=$CI_DEBUG ERASE_ENV=$ERASE_ENV \
 450             /root/fuel/mcp/config/states/${state}"
 451     done
 452 fi
 453
 454 ./log.sh "${DEPLOY_LOG}"
 455
 456 popd > /dev/null
 457
 458 #
 459 # END of main
 460 ##############################################################################