ci/deploy.sh

   1 #!/bin/bash -e
   2 # shellcheck disable=SC2034,SC2154,SC1090,SC1091
   3 ##############################################################################
   4 # Copyright (c) 2017 Ericsson AB, Mirantis Inc., Enea AB and others.
   5 # jonas.bjurel@ericsson.com
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Apache License, Version 2.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.apache.org/licenses/LICENSE-2.0
  10 ##############################################################################
  11
  12 ##############################################################################
  13 # BEGIN of Exit handlers
  14 #
  15 do_exit () {
  16     local RC=$?
  17     clean
  18     if [ ${RC} -eq 0 ]; then
  19         notify "\n[OK] MCP: Openstack installation finished succesfully!\n\n" 2
  20     else
  21         notify "\n[ERROR] MCP: Openstack installation threw a fatal error!\n\n"
  22     fi
  23 }
  24 #
  25 # End of Exit handlers
  26 ##############################################################################
  27
  28 ##############################################################################
  29 # BEGIN of usage description
  30 #
  31 usage ()
  32 {
  33 cat << EOF
  34 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  35 $(notify "$(basename "$0"): Deploy the Fuel@OPNFV MCP stack" 3)
  36
  37 $(notify "USAGE:" 2)
  38   $(basename "$0") -b base-uri -l lab-name -p pod-name -s deploy-scenario \\
  39     [-B PXE Bridge [-B Mgmt Bridge [-B Internal Bridge [-B Public Bridge]]]] \\
  40     [-S storage-dir] [-L /path/to/log/file.tar.gz] \\
  41     [-f [-f]] [-F] [-e] [-d] [-D]
  42
  43 $(notify "OPTIONS:" 2)
  44   -b  Base-uri for the stack-configuration structure
  45   -B  Bridge(s): 1st usage = PXE, 2nd = Mgmt, 3rd = Internal, 4th = Public
  46   -d  Dry-run
  47   -D  Debug logging
  48   -e  Do not launch environment deployment
  49   -f  Deploy on existing Salt master (use twice to also skip config sync)
  50   -F  Do only create a Salt master
  51   -h  Print this message and exit
  52   -l  Lab-name
  53   -p  Pod-name
  54   -s  Deploy-scenario short-name
  55   -S  Storage dir for VM images
  56   -L  Deployment log path and file name
  57
  58 $(notify "Description:" 2)
  59 Deploys the Fuel@OPNFV stack on the indicated lab resource.
  60
  61 This script provides the Fuel@OPNFV deployment abstraction.
  62 It depends on the OPNFV official configuration directory/file structure
  63 and provides a fairly simple mechanism to execute a deployment.
  64
  65 $(notify "Input parameters to the build script are:" 2)
  66 -b Base URI to the configuration directory (needs to be provided in URI style,
  67    it can be a local resource: file:// or a remote resource http(s)://).
  68    A POD Descriptor File (PDF) should be available at:
  69    <base-uri>/labs/<lab-name>/<pod-name>.yaml
  70    The default is './mcp/config'.
  71 -B Bridges to be used by deploy script. It can be specified several times,
  72    or as a comma separated list of bridges, or both: -B br1 -B br2,br3
  73    First occurence sets PXE Brige, next Mgmt, then Internal and Public.
  74    For an empty value, the deploy script will use virsh to create the default
  75    expected network (e.g. -B pxe,,,public will use existing "pxe" and "public"
  76    bridges, respectively create "mgmt" and "internal").
  77    Note that a virtual network "mcpcontrol" is always created. For virtual
  78    deploys, "mcpcontrol" is also used for PXE, leaving the PXE bridge unused.
  79    For baremetal deploys, PXE bridge is used for baremetal node provisioning,
  80    while "mcpcontrol" is used to provision the infrastructure VMs only.
  81    The default is 'pxebr'.
  82 -d Dry-run - Produce deploy config files, but do not execute deploy
  83 -D Debug logging - Enable extra logging in sh deploy scripts (set -x)
  84 -e Do not launch environment deployment
  85 -f Deploy on existing Salt master. It will skip infrastructure VM creation,
  86    but it will still sync reclass configuration from current repo to Salt
  87    Master node. If specified twice (e.g. -f -f), config sync will also be
  88    skipped.
  89 -F Do only create a Salt master
  90 -h Print this message and exit
  91 -L Deployment log path and name, eg. -L /home/jenkins/job.log.tar.gz
  92 -l Lab name as defined in the configuration directory, e.g. lf
  93 -p POD name as defined in the configuration directory, e.g. pod2
  94 -s Deployment-scenario, this points to a short deployment scenario name, which
  95    has to be defined in config directory (e.g. os-odl-nofeature-ha).
  96 -S Storage dir for VM images, default is mcp/deploy/images
  97
  98 $(notify "[NOTE] sudo & virsh priviledges are needed for this script to run" 3)
  99
 100 Example:
 101
 102 $(notify "sudo $(basename "$0") \\
 103   -b file:///home/jenkins/securedlab \\
 104   -l lf -p pod2 \\
 105   -s os-odl-nofeature-ha" 2)
 106 EOF
 107 }
 108
 109 #
 110 # END of usage description
 111 ##############################################################################
 112
 113 ##############################################################################
 114 # BEGIN of colored notification wrapper
 115 #
 116 notify() {
 117     tput setaf "${2:-1}" || true
 118     echo -en "${1:-"[WARN] Unsupported opt arg: $3\\n"}"
 119     tput sgr0
 120 }
 121 #
 122 # END of colored notification wrapper
 123 ##############################################################################
 124
 125 ##############################################################################
 126 # BEGIN of deployment clean-up
 127 #
 128 clean() {
 129     echo "Cleaning up deploy tmp directories"
 130 }
 131 #
 132 # END of deployment clean-up
 133 ##############################################################################
 134
 135 ##############################################################################
 136 # BEGIN of variables to customize
 137 #
 138 CI_DEBUG=${CI_DEBUG:-0}; [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 139 REPO_ROOT_PATH=$(readlink -f "$(dirname "${BASH_SOURCE[0]}")/..")
 140 DEPLOY_DIR=$(cd "${REPO_ROOT_PATH}/mcp/scripts"; pwd)
 141 STORAGE_DIR=$(cd "${REPO_ROOT_PATH}/mcp/deploy/images"; pwd)
 142 RECLASS_CLUSTER_DIR=$(cd "${REPO_ROOT_PATH}/mcp/reclass/classes/cluster"; pwd)
 143 DEPLOY_TYPE='baremetal'
 144 OPNFV_BRIDGES=('pxebr' 'mgmt' 'internal' 'public')
 145 URI_REGEXP='(file|https?|ftp)://.*'
 146 BASE_CONFIG_URI="file://${REPO_ROOT_PATH}/mcp/config"
 147
 148 # Customize deploy workflow
 149 DRY_RUN=${DRY_RUN:-0}
 150 USE_EXISTING_INFRA=${USE_EXISTING_INFRA:-0}
 151 INFRA_CREATION_ONLY=${INFRA_CREATION_ONLY:-0}
 152 NO_DEPLOY_ENVIRONMENT=${NO_DEPLOY_ENVIRONMENT:-0}
 153
 154 source "${DEPLOY_DIR}/globals.sh"
 155
 156 #
 157 # END of variables to customize
 158 ##############################################################################
 159
 160 ##############################################################################
 161 # BEGIN of main
 162 #
 163 set +x
 164 OPNFV_BRIDGE_IDX=0
 165 while getopts "b:B:dDfFl:L:p:s:S:he" OPTION
 166 do
 167     case $OPTION in
 168         b)
 169             BASE_CONFIG_URI=${OPTARG}
 170             if [[ ! $BASE_CONFIG_URI =~ ${URI_REGEXP} ]]; then
 171                 notify "[ERROR] -b $BASE_CONFIG_URI - invalid URI\n"
 172                 usage
 173                 exit 1
 174             fi
 175             ;;
 176         B)
 177             OIFS=${IFS}
 178             IFS=','
 179             OPT_BRIDGES=($OPTARG)
 180             for bridge in "${OPT_BRIDGES[@]}"; do
 181                 if [ -n "${bridge}" ]; then
 182                     OPNFV_BRIDGES[${OPNFV_BRIDGE_IDX}]="${bridge}"
 183                 fi
 184                 ((OPNFV_BRIDGE_IDX+=1))
 185             done
 186             IFS=${OIFS}
 187             ;;
 188         d)
 189             DRY_RUN=1
 190             ;;
 191         D)
 192             CI_DEBUG=1
 193             ;;
 194         f)
 195             ((USE_EXISTING_INFRA+=1))
 196             ;;
 197         F)
 198             INFRA_CREATION_ONLY=1
 199             ;;
 200         e)
 201             NO_DEPLOY_ENVIRONMENT=1
 202             ;;
 203         l)
 204             TARGET_LAB=${OPTARG}
 205             ;;
 206         L)
 207             DEPLOY_LOG="${OPTARG}"
 208             ;;
 209         p)
 210             TARGET_POD=${OPTARG}
 211             if [[ "${TARGET_POD}" =~ "virtual" ]]; then
 212                 DEPLOY_TYPE='virtual'
 213             fi
 214             ;;
 215         s)
 216             DEPLOY_SCENARIO=${OPTARG}
 217             ;;
 218         S)
 219             if [[ ${OPTARG} ]]; then
 220                 STORAGE_DIR="${OPTARG}"
 221             fi
 222             ;;
 223         h)
 224             usage
 225             exit 0
 226             ;;
 227         *)
 228             notify "[ERROR] Arguments not according to new argument style\n"
 229             exit 1
 230             ;;
 231     esac
 232 done
 233
 234 if [[ "$(sudo whoami)" != 'root' ]]; then
 235     notify "[ERROR] This script requires sudo rights\n" 1>&2
 236     exit 1
 237 fi
 238
 239 if ! virsh list >/dev/null 2>&1; then
 240     notify "[ERROR] This script requires hypervisor access\n" 1>&2
 241     exit 1
 242 fi
 243
 244 # Validate mandatory arguments are set
 245 if [ -z "${TARGET_LAB}" ] || [ -z "${TARGET_POD}" ] || \
 246    [ -z "${DEPLOY_SCENARIO}" ]; then
 247     notify "[ERROR] At least one of the mandatory args is missing!\n" 1>&2
 248     usage
 249     exit 1
 250 fi
 251
 252 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 253
 254 # Enable the automatic exit trap
 255 trap do_exit SIGINT SIGTERM EXIT
 256
 257 # Set no restrictive umask so that Jenkins can remove any residuals
 258 umask 0000
 259
 260 clean
 261
 262 pushd "${DEPLOY_DIR}" > /dev/null
 263 # Prepare the deploy config files based on lab/pod information, deployment
 264 # scenario, etc.
 265
 266 # Install required packages
 267 [ -n "$(command -v apt-get)" ] && sudo apt-get install -y \
 268   git make rsync mkisofs curl virtinst cpu-checker qemu-kvm
 269 [ -n "$(command -v yum)" ] && sudo yum install -y --skip-broken \
 270   git make rsync genisoimage curl virt-install qemu-kvm
 271
 272 if [ "$(uname -i)" = "aarch64" ]; then
 273   [ -n "$(command -v apt-get)" ] && sudo apt-get install -y vgabios && \
 274   sudo ln -sf /usr/share/vgabios/vgabios.bin /usr/share/qemu/vgabios-stdvga.bin
 275   [ -n "$(command -v yum)" ] && sudo yum install -y --skip-broken vgabios
 276 fi
 277
 278 # Clone git submodules and apply our patches
 279 make -C "${REPO_ROOT_PATH}/mcp/patches" deepclean patches-import
 280
 281 # Convert Pharos-compatible POD Descriptor File (PDF) to reclass model input
 282 PHAROS_GEN_CONFIG_SCRIPT="./pharos/config/utils/generate_config.py"
 283 PHAROS_INSTALLER_ADAPTER="./pharos/config/installers/fuel/pod_config.yml.j2"
 284 BASE_CONFIG_PDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/${TARGET_POD}.yaml"
 285 BASE_CONFIG_IDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/idf-${TARGET_POD}.yaml"
 286 LOCAL_PDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_PDF}")"
 287 LOCAL_IDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_IDF}")"
 288 LOCAL_PDF_RECLASS="${STORAGE_DIR}/pod_config.yml"
 289 if ! curl --create-dirs -o "${LOCAL_PDF}" "${BASE_CONFIG_PDF}"; then
 290     if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 291         notify "[ERROR] Could not retrieve PDF (Pod Descriptor File)!\n" 1>&2
 292         exit 1
 293     else
 294         notify "[WARN] Could not retrieve PDF (Pod Descriptor File)!\n" 3
 295     fi
 296 elif ! curl -o "${LOCAL_IDF}" "${BASE_CONFIG_IDF}"; then
 297     notify "[WARN] POD has no IDF (Installer Descriptor File)!\n" 3
 298 elif ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 299     -j "${PHAROS_INSTALLER_ADAPTER}" > "${LOCAL_PDF_RECLASS}"; then
 300     notify "[ERROR] Could not convert PDF to reclass model input!\n" 1>&2
 301     exit 1
 302 fi
 303
 304 # Check scenario file existence
 305 SCENARIO_DIR="../config/scenario"
 306 if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 307     notify "[WARN] ${DEPLOY_SCENARIO}.yaml not found!\n" 3
 308     notify "[WARN] Setting simplest scenario (os-nosdn-nofeature-noha)\n" 3
 309     DEPLOY_SCENARIO='os-nosdn-nofeature-noha'
 310     if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 311         notify "[ERROR] Scenario definition file is missing!\n" 1>&2
 312         exit 1
 313     fi
 314 fi
 315
 316 # Check defaults file existence
 317 if [ ! -f  "${SCENARIO_DIR}/defaults-$(uname -i).yaml" ]; then
 318     notify "[ERROR] Scenario defaults file is missing!\n" 1>&2
 319     exit 1
 320 fi
 321
 322 # Get required infra deployment data
 323 set +x
 324 source lib.sh
 325 eval "$(parse_yaml "${SCENARIO_DIR}/defaults-$(uname -i).yaml")"
 326 eval "$(parse_yaml "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml")"
 327 eval "$(parse_yaml "${LOCAL_PDF_RECLASS}")"
 328 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 329
 330 export CLUSTER_DOMAIN=${cluster_domain}
 331
 332 declare -A virtual_nodes_ram virtual_nodes_vcpus
 333 for node in "${virtual_nodes[@]}"; do
 334     virtual_custom_ram="virtual_${node}_ram"
 335     virtual_custom_vcpus="virtual_${node}_vcpus"
 336     virtual_nodes_ram[$node]=${!virtual_custom_ram:-$virtual_default_ram}
 337     virtual_nodes_vcpus[$node]=${!virtual_custom_vcpus:-$virtual_default_vcpus}
 338 done
 339
 340 # Expand reclass and virsh network templates
 341 for tp in "${RECLASS_CLUSTER_DIR}/all-mcp-ocata-common/opnfv/"*.template \
 342     net_*.template; do
 343         eval "cat <<-EOF
 344                 $(<"${tp}")
 345                 EOF" 2> /dev/null > "${tp%.template}"
 346 done
 347
 348 # Map PDF networks 'admin', 'mgmt', 'private' and 'public' to bridge names
 349 BR_NAMES=('admin' 'mgmt' 'private' 'public')
 350 BR_NETS=( \
 351     "${parameters__param_opnfv_maas_pxe_address}" \
 352     "${parameters__param_opnfv_infra_config_address}" \
 353     "${parameters__param_opnfv_openstack_compute_node01_tenant_address}" \
 354     "${parameters__param_opnfv_openstack_compute_node01_external_address}" \
 355 )
 356 for ((i = 0; i < ${#BR_NETS[@]}; i++)); do
 357     br_jump=$(eval echo "\$parameters__param_opnfv_jump_bridge_${BR_NAMES[i]}")
 358     if [ -n "${br_jump}" ] && [ "${br_jump}" != 'None' ] && \
 359        [ -d "/sys/class/net/${br_jump}/bridge" ]; then
 360             notify "[OK] Bridge found for '${BR_NAMES[i]}': ${br_jump}\n" 2
 361             OPNFV_BRIDGES[${i}]="${br_jump}"
 362     elif [ -n "${BR_NETS[i]}" ]; then
 363         bridge=$(ip addr | awk "/${BR_NETS[i]%.*}./ {print \$NF; exit}")
 364         if [ -n "${bridge}" ] && [ -d "/sys/class/net/${bridge}/bridge" ]; then
 365             notify "[OK] Bridge found for net ${BR_NETS[i]%.*}.0: ${bridge}\n" 2
 366             OPNFV_BRIDGES[${i}]="${bridge}"
 367         fi
 368     fi
 369 done
 370 notify "[NOTE] Using bridges: ${OPNFV_BRIDGES[*]}\n" 2
 371
 372 # Infra setup
 373 if [ ${DRY_RUN} -eq 1 ]; then
 374     notify "[NOTE] Dry run, skipping all deployment tasks\n" 2 1>&2
 375     exit 0
 376 elif [ ${USE_EXISTING_INFRA} -gt 0 ]; then
 377     notify "[NOTE] Use existing infra\n" 2 1>&2
 378     check_connection
 379 else
 380     generate_ssh_key
 381     prepare_vms virtual_nodes "${base_image}" "${STORAGE_DIR}"
 382     create_networks OPNFV_BRIDGES
 383     create_vms virtual_nodes virtual_nodes_ram virtual_nodes_vcpus \
 384       OPNFV_BRIDGES "${STORAGE_DIR}"
 385     update_mcpcontrol_network
 386     start_vms virtual_nodes
 387     check_connection
 388 fi
 389 if [ ${USE_EXISTING_INFRA} -lt 2 ]; then
 390     wait_for 5 "./salt.sh ${LOCAL_PDF_RECLASS}"
 391 fi
 392
 393 # Openstack cluster setup
 394 set +x
 395 if [ ${INFRA_CREATION_ONLY} -eq 1 ] || [ ${NO_DEPLOY_ENVIRONMENT} -eq 1 ]; then
 396     notify "[NOTE] Skip openstack cluster setup\n" 2
 397 else
 398     for state in "${cluster_states[@]}"; do
 399         notify "[STATE] Applying state: ${state}\n" 2
 400         # shellcheck disable=SC2086,2029
 401         wait_for 5 "ssh ${SSH_OPTS} ${SSH_SALT} \
 402             sudo /root/fuel/mcp/config/states/${state}"
 403     done
 404 fi
 405
 406 ./log.sh "${DEPLOY_LOG}"
 407
 408 popd > /dev/null
 409
 410 #
 411 # END of main
 412 ##############################################################################