ci/deploy.sh

   1 #!/bin/bash -e
   2 # shellcheck disable=SC2034,SC2154,SC1090,SC1091
   3 ##############################################################################
   4 # Copyright (c) 2017 Ericsson AB, Mirantis Inc., Enea AB and others.
   5 # jonas.bjurel@ericsson.com
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Apache License, Version 2.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.apache.org/licenses/LICENSE-2.0
  10 ##############################################################################
  11
  12 ##############################################################################
  13 # BEGIN of Exit handlers
  14 #
  15 do_exit () {
  16     local RC=$?
  17     cleanup_mounts > /dev/null 2>&1
  18     if [ ${RC} -eq 0 ]; then
  19         notify "\n[OK] MCP: Openstack installation finished succesfully!\n\n" 2
  20     else
  21         notify "\n[ERROR] MCP: Openstack installation threw a fatal error!\n\n"
  22     fi
  23 }
  24 #
  25 # End of Exit handlers
  26 ##############################################################################
  27
  28 ##############################################################################
  29 # BEGIN of usage description
  30 #
  31 usage ()
  32 {
  33 cat << EOF
  34 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  35 $(notify "$(basename "$0"): Deploy the Fuel@OPNFV MCP stack" 3)
  36
  37 $(notify "USAGE:" 2)
  38   $(basename "$0") -b base-uri -l lab-name -p pod-name -s deploy-scenario \\
  39     [-B PXE Bridge [-B Mgmt Bridge [-B Internal Bridge [-B Public Bridge]]]] \\
  40     [-S storage-dir] [-L /path/to/log/file.tar.gz] \\
  41     [-f[f]] [-F] [-e | -E[E]] [-d] [-D]
  42
  43 $(notify "OPTIONS:" 2)
  44   -b  Base-uri for the stack-configuration structure
  45   -B  Bridge(s): 1st usage = PXE, 2nd = Mgmt, 3rd = Internal, 4th = Public
  46   -d  Dry-run
  47   -D  Debug logging
  48   -e  Do not launch environment deployment
  49   -E  Remove existing VCP VMs (use twice to redeploy baremetal nodes)
  50   -f  Deploy on existing Salt master (use twice to also skip config sync)
  51   -F  Do only create a Salt master
  52   -h  Print this message and exit
  53   -l  Lab-name
  54   -p  Pod-name
  55   -P  Skip installation of package dependencies
  56   -s  Deploy-scenario short-name
  57   -S  Storage dir for VM images
  58   -L  Deployment log path and file name
  59
  60 $(notify "Description:" 2)
  61 Deploys the Fuel@OPNFV stack on the indicated lab resource.
  62
  63 This script provides the Fuel@OPNFV deployment abstraction.
  64 It depends on the OPNFV official configuration directory/file structure
  65 and provides a fairly simple mechanism to execute a deployment.
  66
  67 $(notify "Input parameters to the build script are:" 2)
  68 -b Base URI to the configuration directory (needs to be provided in URI style,
  69    it can be a local resource: file:// or a remote resource http(s)://).
  70    A POD Descriptor File (PDF) should be available at:
  71    <base-uri>/labs/<lab-name>/<pod-name>.yaml
  72    The default is './mcp/config'.
  73 -B Bridges to be used by deploy script. It can be specified several times,
  74    or as a comma separated list of bridges, or both: -B br1 -B br2,br3
  75    First occurence sets PXE Brige, next Mgmt, then Internal and Public.
  76    For an empty value, the deploy script will use virsh to create the default
  77    expected network (e.g. -B pxe,,,public will use existing "pxe" and "public"
  78    bridges, respectively create "mgmt" and "internal").
  79    Note that a virtual network "mcpcontrol" is always created. For virtual
  80    deploys, "mcpcontrol" is also used for PXE, leaving the PXE bridge unused.
  81    For baremetal deploys, PXE bridge is used for baremetal node provisioning,
  82    while "mcpcontrol" is used to provision the infrastructure VMs only.
  83    The default is 'pxebr'.
  84 -d Dry-run - Produce deploy config files, but do not execute deploy
  85 -D Debug logging - Enable extra logging in sh deploy scripts (set -x)
  86 -e Do not launch environment deployment
  87 -E Remove existing VCP VMs. It will destroy and undefine all VCP VMs
  88    currently defined on cluster KVM nodes. If specified twice (e.g. -E -E),
  89    baremetal nodes (VCP too, implicitly) will be removed, then reprovisioned.
  90    Only applicable for baremetal deploys.
  91 -f Deploy on existing Salt master. It will skip infrastructure VM creation,
  92    but it will still sync reclass configuration from current repo to Salt
  93    Master node. If specified twice (e.g. -f -f), config sync will also be
  94    skipped.
  95 -F Do only create a Salt master
  96 -h Print this message and exit
  97 -L Deployment log path and name, eg. -L /home/jenkins/job.log.tar.gz
  98 -l Lab name as defined in the configuration directory, e.g. lf
  99 -p POD name as defined in the configuration directory, e.g. pod2
 100 -P Skip installing dependency distro packages on current host
 101    This flag should only be used if you have kept back older packages that
 102    would be upgraded and that is undesirable on the current system.
 103    Note that without the required packages, deploy will fail.
 104 -s Deployment-scenario, this points to a short deployment scenario name, which
 105    has to be defined in config directory (e.g. os-odl-nofeature-ha).
 106 -S Storage dir for VM images, default is mcp/deploy/images
 107
 108 $(notify "[NOTE] sudo & virsh priviledges are needed for this script to run" 3)
 109
 110 Example:
 111
 112 $(notify "sudo $(basename "$0") \\
 113   -b file:///home/jenkins/securedlab \\
 114   -l lf -p pod2 \\
 115   -s os-odl-nofeature-ha" 2)
 116 EOF
 117 }
 118
 119 #
 120 # END of usage description
 121 ##############################################################################
 122
 123 ##############################################################################
 124 # BEGIN of colored notification wrapper
 125 #
 126 notify() {
 127     tput setaf "${2:-1}" || true
 128     echo -en "${1:-"[WARN] Unsupported opt arg: $3\\n"}"
 129     tput sgr0
 130 }
 131 #
 132 # END of colored notification wrapper
 133 ##############################################################################
 134
 135 ##############################################################################
 136 # BEGIN of variables to customize
 137 #
 138 CI_DEBUG=${CI_DEBUG:-0}; [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 139 REPO_ROOT_PATH=$(readlink -f "$(dirname "${BASH_SOURCE[0]}")/..")
 140 DEPLOY_DIR=$(cd "${REPO_ROOT_PATH}/mcp/scripts"; pwd)
 141 STORAGE_DIR=$(cd "${REPO_ROOT_PATH}/mcp/deploy/images"; pwd)
 142 RECLASS_CLUSTER_DIR=$(cd "${REPO_ROOT_PATH}/mcp/reclass/classes/cluster"; pwd)
 143 DEPLOY_TYPE='baremetal'
 144 OPNFV_BRIDGES=('pxebr' 'mgmt' 'internal' 'public')
 145 URI_REGEXP='(file|https?|ftp)://.*'
 146 BASE_CONFIG_URI="file://${REPO_ROOT_PATH}/mcp/config"
 147
 148 # Customize deploy workflow
 149 DRY_RUN=${DRY_RUN:-0}
 150 USE_EXISTING_PKGS=${USE_EXISTING_PKGS:-0}
 151 USE_EXISTING_INFRA=${USE_EXISTING_INFRA:-0}
 152 INFRA_CREATION_ONLY=${INFRA_CREATION_ONLY:-0}
 153 NO_DEPLOY_ENVIRONMENT=${NO_DEPLOY_ENVIRONMENT:-0}
 154 ERASE_ENV=${ERASE_ENV:-0}
 155
 156 source "${DEPLOY_DIR}/globals.sh"
 157 source "${DEPLOY_DIR}/lib.sh"
 158
 159 #
 160 # END of variables to customize
 161 ##############################################################################
 162
 163 ##############################################################################
 164 # BEGIN of main
 165 #
 166 set +x
 167 OPNFV_BRIDGE_IDX=0
 168 while getopts "b:B:dDfEFl:L:p:Ps:S:he" OPTION
 169 do
 170     case $OPTION in
 171         b)
 172             BASE_CONFIG_URI=${OPTARG}
 173             if [[ ! $BASE_CONFIG_URI =~ ${URI_REGEXP} ]]; then
 174                 notify "[ERROR] -b $BASE_CONFIG_URI - invalid URI\n"
 175                 usage
 176                 exit 1
 177             fi
 178             ;;
 179         B)
 180             OIFS=${IFS}
 181             IFS=','
 182             OPT_BRIDGES=($OPTARG)
 183             for bridge in "${OPT_BRIDGES[@]}"; do
 184                 if [ -n "${bridge}" ]; then
 185                     OPNFV_BRIDGES[${OPNFV_BRIDGE_IDX}]="${bridge}"
 186                 fi
 187                 ((OPNFV_BRIDGE_IDX+=1))
 188             done
 189             IFS=${OIFS}
 190             ;;
 191         d)
 192             DRY_RUN=1
 193             ;;
 194         D)
 195             CI_DEBUG=1
 196             ;;
 197         f)
 198             ((USE_EXISTING_INFRA+=1))
 199             ;;
 200         F)
 201             INFRA_CREATION_ONLY=1
 202             ;;
 203         e)
 204             NO_DEPLOY_ENVIRONMENT=1
 205             ;;
 206         E)
 207             ((ERASE_ENV+=1))
 208             ;;
 209         l)
 210             TARGET_LAB=${OPTARG}
 211             ;;
 212         L)
 213             DEPLOY_LOG="${OPTARG}"
 214             ;;
 215         p)
 216             TARGET_POD=${OPTARG}
 217             if [[ "${TARGET_POD}" =~ "virtual" ]]; then
 218                 DEPLOY_TYPE='virtual'
 219             fi
 220             ;;
 221         P)
 222             USE_EXISTING_PKGS=1
 223             ;;
 224         s)
 225             DEPLOY_SCENARIO=${OPTARG}
 226             ;;
 227         S)
 228             if [[ ${OPTARG} ]]; then
 229                 STORAGE_DIR="${OPTARG}"
 230             fi
 231             ;;
 232         h)
 233             usage
 234             exit 0
 235             ;;
 236         *)
 237             notify "[ERROR] Arguments not according to new argument style\n"
 238             exit 1
 239             ;;
 240     esac
 241 done
 242
 243 if [[ "$(sudo whoami)" != 'root' ]]; then
 244     notify "[ERROR] This script requires sudo rights\n" 1>&2
 245     exit 1
 246 fi
 247
 248 # Validate mandatory arguments are set
 249 if [ -z "${TARGET_LAB}" ] || [ -z "${TARGET_POD}" ] || \
 250    [ -z "${DEPLOY_SCENARIO}" ]; then
 251     notify "[ERROR] At least one of the mandatory args is missing!\n" 1>&2
 252     usage
 253     exit 1
 254 fi
 255
 256 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 257
 258 # Enable the automatic exit trap
 259 trap do_exit SIGINT SIGTERM EXIT
 260
 261 # Set no restrictive umask so that Jenkins can remove any residuals
 262 umask 0000
 263
 264 pushd "${DEPLOY_DIR}" > /dev/null
 265 # Prepare the deploy config files based on lab/pod information, deployment
 266 # scenario, etc.
 267
 268 # Install required packages on jump server
 269 if [ ${USE_EXISTING_PKGS} -eq 1 ]; then
 270     notify "[NOTE] Skipping distro pkg installation\n" 2 1>&2
 271 else
 272     notify "[NOTE] Installing required distro pkgs\n" 2 1>&2
 273     if [ -n "$(command -v apt-get)" ]; then
 274       pkg_type='deb'; pkg_cmd='sudo apt-get install -y'
 275     else
 276       pkg_type='rpm'; pkg_cmd='sudo yum install -y --skip-broken'
 277     fi
 278     eval "$(parse_yaml "./requirements_${pkg_type}.yaml")"
 279     for section in 'common' "${DEPLOY_TYPE}" "$(uname -m)"; do
 280       section_var="requirements_pkg_${section}[*]"
 281       pkg_list+=" ${!section_var}"
 282     done
 283     # shellcheck disable=SC2086
 284     ${pkg_cmd} ${pkg_list}
 285 fi
 286
 287 if ! virsh list >/dev/null 2>&1; then
 288     notify "[ERROR] This script requires hypervisor access\n" 1>&2
 289     exit 1
 290 fi
 291
 292 # Clone git submodules and apply our patches
 293 make -C "${REPO_ROOT_PATH}/mcp/patches" deepclean patches-import
 294
 295 # Convert Pharos-compatible POD Descriptor File (PDF) to reclass model input
 296 PHAROS_GEN_CONFIG_SCRIPT="./pharos/config/utils/generate_config.py"
 297 PHAROS_INSTALLER_ADAPTER="./pharos/config/installers/fuel/pod_config.yml.j2"
 298 BASE_CONFIG_PDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/${TARGET_POD}.yaml"
 299 BASE_CONFIG_IDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/idf-${TARGET_POD}.yaml"
 300 LOCAL_PDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_PDF}")"
 301 LOCAL_IDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_IDF}")"
 302 LOCAL_PDF_RECLASS="${STORAGE_DIR}/pod_config.yml"
 303 if ! curl --create-dirs -o "${LOCAL_PDF}" "${BASE_CONFIG_PDF}"; then
 304     if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 305         notify "[ERROR] Could not retrieve PDF (Pod Descriptor File)!\n" 1>&2
 306         exit 1
 307     else
 308         notify "[WARN] Could not retrieve PDF (Pod Descriptor File)!\n" 3
 309     fi
 310 elif ! curl -o "${LOCAL_IDF}" "${BASE_CONFIG_IDF}"; then
 311     notify "[WARN] POD has no IDF (Installer Descriptor File)!\n" 3
 312 elif ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 313     -j "${PHAROS_INSTALLER_ADAPTER}" > "${LOCAL_PDF_RECLASS}"; then
 314     notify "[ERROR] Could not convert PDF to reclass model input!\n" 1>&2
 315     exit 1
 316 fi
 317
 318 # Check scenario file existence
 319 SCENARIO_DIR="../config/scenario"
 320 if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 321     notify "[WARN] ${DEPLOY_SCENARIO}.yaml not found!\n" 3
 322     notify "[WARN] Setting simplest scenario (os-nosdn-nofeature-noha)\n" 3
 323     DEPLOY_SCENARIO='os-nosdn-nofeature-noha'
 324     if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 325         notify "[ERROR] Scenario definition file is missing!\n" 1>&2
 326         exit 1
 327     fi
 328 fi
 329
 330 # Check defaults file existence
 331 if [ ! -f  "${SCENARIO_DIR}/defaults-$(uname -i).yaml" ]; then
 332     notify "[ERROR] Scenario defaults file is missing!\n" 1>&2
 333     exit 1
 334 fi
 335
 336 # Get required infra deployment data
 337 set +x
 338 eval "$(parse_yaml "${SCENARIO_DIR}/defaults-$(uname -i).yaml")"
 339 eval "$(parse_yaml "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml")"
 340 eval "$(parse_yaml "${LOCAL_PDF_RECLASS}")"
 341 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 342
 343 export CLUSTER_DOMAIN=${cluster_domain}
 344
 345 # Serialize vnode data as '<name0>,<ram0>,<vcpu0>|<name1>,<ram1>,<vcpu1>[...]'
 346 for node in "${virtual_nodes[@]}"; do
 347     virtual_custom_ram="virtual_${node}_ram"
 348     virtual_custom_vcpus="virtual_${node}_vcpus"
 349     virtual_nodes_data+="${node},"
 350     virtual_nodes_data+="${!virtual_custom_ram:-$virtual_default_ram},"
 351     virtual_nodes_data+="${!virtual_custom_vcpus:-$virtual_default_vcpus}|"
 352 done
 353 virtual_nodes_data=${virtual_nodes_data%|}
 354
 355 # Serialize repos, packages to (pre-)install/remove for:
 356 # - foundation node VM base image (virtual: all VMs, baremetal: cfg01|mas01)
 357 # - virtualized control plane VM base image (only when VCP is used)
 358 base_image_flavors=common
 359 if [[ "${cluster_states[*]}" =~ virtual_control ]]; then
 360   base_image_flavors+=" control"
 361 fi
 362 for sc in ${base_image_flavors}; do
 363   for va in apt_keys apt_repos pkg_install pkg_remove; do
 364     key=virtual_${sc}_${va}
 365     eval "${key}=\${${key}[@]// /|}"
 366     eval "${key}=\${${key}// /,}"
 367     virtual_repos_pkgs+="${!key}^"
 368   done
 369 done
 370 virtual_repos_pkgs=${virtual_repos_pkgs%^}
 371
 372 # Expand reclass and virsh network templates
 373 for tp in "${RECLASS_CLUSTER_DIR}/all-mcp-arch-common/opnfv/"*.template \
 374     net_*.template; do
 375         eval "cat <<-EOF
 376                 $(<"${tp}")
 377                 EOF" 2> /dev/null > "${tp%.template}"
 378 done
 379
 380 # Convert Pharos-compatible PDF to reclass network definitions
 381 if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 382     find "${RECLASS_CLUSTER_DIR}" -name '*.j2' | while read -r tp
 383     do
 384         if ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 385           -j "${tp}" > "${tp%.j2}"; then
 386              notify "[ERROR] Could not convert PDF to reclass network defs!\n"
 387              exit 1
 388         fi
 389     done
 390 fi
 391
 392 # Map PDF networks 'admin', 'mgmt', 'private' and 'public' to bridge names
 393 BR_NAMES=('admin' 'mgmt' 'private' 'public')
 394 BR_NETS=( \
 395     "${paramaters__param_opnfv_infra_maas_pxe_address}" \
 396     "${parameters__param_opnfv_infra_config_address}" \
 397     "${parameters__param_opnfv_openstack_compute_node01_tenant_address}" \
 398     "${parameters__param_opnfv_openstack_compute_node01_external_address}" \
 399 )
 400 for ((i = 0; i < ${#BR_NETS[@]}; i++)); do
 401     br_jump=$(eval echo "\$parameters__param_opnfv_jump_bridge_${BR_NAMES[i]}")
 402     if [ -n "${br_jump}" ] && [ "${br_jump}" != 'None' ] && \
 403        [ -d "/sys/class/net/${br_jump}/bridge" ]; then
 404             notify "[OK] Bridge found for '${BR_NAMES[i]}': ${br_jump}\n" 2
 405             OPNFV_BRIDGES[${i}]="${br_jump}"
 406     elif [ -n "${BR_NETS[i]}" ]; then
 407         bridge=$(ip addr | awk "/${BR_NETS[i]%.*}./ {print \$NF; exit}")
 408         if [ -n "${bridge}" ] && [ -d "/sys/class/net/${bridge}/bridge" ]; then
 409             notify "[OK] Bridge found for net ${BR_NETS[i]%.*}.0: ${bridge}\n" 2
 410             OPNFV_BRIDGES[${i}]="${bridge}"
 411         fi
 412     fi
 413 done
 414 notify "[NOTE] Using bridges: ${OPNFV_BRIDGES[*]}\n" 2
 415
 416 # Infra setup
 417 if [ ${DRY_RUN} -eq 1 ]; then
 418     notify "[NOTE] Dry run, skipping all deployment tasks\n" 2 1>&2
 419     exit 0
 420 elif [ ${USE_EXISTING_INFRA} -gt 0 ]; then
 421     notify "[NOTE] Use existing infra\n" 2 1>&2
 422     check_connection
 423 else
 424     generate_ssh_key
 425     prepare_vms "${base_image}" "${STORAGE_DIR}" "${virtual_repos_pkgs}" \
 426       "${virtual_nodes[@]}"
 427     create_networks "${OPNFV_BRIDGES[@]}"
 428     create_vms "${STORAGE_DIR}" "${virtual_nodes_data}" "${OPNFV_BRIDGES[@]}"
 429     update_mcpcontrol_network
 430     start_vms "${virtual_nodes[@]}"
 431     check_connection
 432 fi
 433 if [ ${USE_EXISTING_INFRA} -lt 2 ]; then
 434     wait_for 5 "./salt.sh ${LOCAL_PDF_RECLASS}"
 435 fi
 436
 437 # Openstack cluster setup
 438 set +x
 439 if [ ${INFRA_CREATION_ONLY} -eq 1 ] || [ ${NO_DEPLOY_ENVIRONMENT} -eq 1 ]; then
 440     notify "[NOTE] Skip openstack cluster setup\n" 2
 441 else
 442     for state in "${cluster_states[@]}"; do
 443         notify "[STATE] Applying state: ${state}\n" 2
 444         # shellcheck disable=SC2086,2029
 445         wait_for 5 "ssh ${SSH_OPTS} ${SSH_SALT} sudo \
 446             CI_DEBUG=$CI_DEBUG ERASE_ENV=$ERASE_ENV \
 447             /root/fuel/mcp/config/states/${state}"
 448     done
 449 fi
 450
 451 ./log.sh "${DEPLOY_LOG}"
 452
 453 popd > /dev/null
 454
 455 #
 456 # END of main
 457 ##############################################################################