ci/deploy.sh

   1 #!/bin/bash -e
   2 # shellcheck disable=SC2034,SC2154,SC1090,SC1091
   3 ##############################################################################
   4 # Copyright (c) 2017 Ericsson AB, Mirantis Inc., Enea AB and others.
   5 # jonas.bjurel@ericsson.com
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Apache License, Version 2.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.apache.org/licenses/LICENSE-2.0
  10 ##############################################################################
  11
  12 ##############################################################################
  13 # BEGIN of Exit handlers
  14 #
  15 do_exit () {
  16     local RC=$?
  17     cleanup_mounts > /dev/null 2>&1
  18     if [ ${RC} -eq 0 ]; then
  19         notify "\n[OK] MCP: Openstack installation finished succesfully!\n\n" 2
  20     else
  21         notify "\n[ERROR] MCP: Openstack installation threw a fatal error!\n\n"
  22     fi
  23 }
  24 #
  25 # End of Exit handlers
  26 ##############################################################################
  27
  28 ##############################################################################
  29 # BEGIN of usage description
  30 #
  31 usage ()
  32 {
  33 cat << EOF
  34 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  35 $(notify "$(basename "$0"): Deploy the Fuel@OPNFV MCP stack" 3)
  36
  37 $(notify "USAGE:" 2)
  38   $(basename "$0") -b base-uri -l lab-name -p pod-name -s deploy-scenario \\
  39     [-B PXE Bridge [-B Mgmt Bridge [-B Internal Bridge [-B Public Bridge]]]] \\
  40     [-S storage-dir] [-L /path/to/log/file.tar.gz] \\
  41     [-f[f]] [-F] [-e | -E[E]] [-d] [-D]
  42
  43 $(notify "OPTIONS:" 2)
  44   -b  Base-uri for the stack-configuration structure
  45   -B  Bridge(s): 1st usage = PXE, 2nd = Mgmt, 3rd = Internal, 4th = Public
  46   -d  Dry-run
  47   -D  Debug logging
  48   -e  Do not launch environment deployment
  49   -E  Remove existing VCP VMs (use twice to redeploy baremetal nodes)
  50   -f  Deploy on existing Salt master (use twice to also skip config sync)
  51   -F  Do only create a Salt master
  52   -h  Print this message and exit
  53   -l  Lab-name
  54   -p  Pod-name
  55   -P  Skip installation of package dependencies
  56   -s  Deploy-scenario short-name
  57   -S  Storage dir for VM images
  58   -L  Deployment log path and file name
  59
  60 $(notify "Description:" 2)
  61 Deploys the Fuel@OPNFV stack on the indicated lab resource.
  62
  63 This script provides the Fuel@OPNFV deployment abstraction.
  64 It depends on the OPNFV official configuration directory/file structure
  65 and provides a fairly simple mechanism to execute a deployment.
  66
  67 $(notify "Input parameters to the build script are:" 2)
  68 -b Base URI to the configuration directory (needs to be provided in URI style,
  69    it can be a local resource: file:// or a remote resource http(s)://).
  70    A POD Descriptor File (PDF) should be available at:
  71    <base-uri>/labs/<lab-name>/<pod-name>.yaml
  72    The default is './mcp/config'.
  73 -B Bridges to be used by deploy script. It can be specified several times,
  74    or as a comma separated list of bridges, or both: -B br1 -B br2,br3
  75    First occurence sets PXE Brige, next Mgmt, then Internal and Public.
  76    For an empty value, the deploy script will use virsh to create the default
  77    expected network (e.g. -B pxe,,,public will use existing "pxe" and "public"
  78    bridges, respectively create "mgmt" and "internal").
  79    Note that a virtual network "mcpcontrol" is always created. For virtual
  80    deploys, "mcpcontrol" is also used for PXE, leaving the PXE bridge unused.
  81    For baremetal deploys, PXE bridge is used for baremetal node provisioning,
  82    while "mcpcontrol" is used to provision the infrastructure VMs only.
  83    The default is 'pxebr'.
  84 -d Dry-run - Produce deploy config files, but do not execute deploy
  85 -D Debug logging - Enable extra logging in sh deploy scripts (set -x)
  86 -e Do not launch environment deployment
  87 -E Remove existing VCP VMs. It will destroy and undefine all VCP VMs
  88    currently defined on cluster KVM nodes. If specified twice (e.g. -E -E),
  89    baremetal nodes (VCP too, implicitly) will be removed, then reprovisioned.
  90    Only applicable for baremetal deploys.
  91 -f Deploy on existing Salt master. It will skip infrastructure VM creation,
  92    but it will still sync reclass configuration from current repo to Salt
  93    Master node. If specified twice (e.g. -f -f), config sync will also be
  94    skipped.
  95 -F Do only create a Salt master
  96 -h Print this message and exit
  97 -L Deployment log path and name, eg. -L /home/jenkins/job.log.tar.gz
  98 -l Lab name as defined in the configuration directory, e.g. lf
  99 -p POD name as defined in the configuration directory, e.g. pod2
 100 -P Skip installing dependency distro packages on current host
 101    This flag should only be used if you have kept back older packages that
 102    would be upgraded and that is undesirable on the current system.
 103    Note that without the required packages, deploy will fail.
 104 -s Deployment-scenario, this points to a short deployment scenario name, which
 105    has to be defined in config directory (e.g. os-odl-nofeature-ha).
 106 -S Storage dir for VM images, default is mcp/deploy/images
 107
 108 $(notify "[NOTE] sudo & virsh priviledges are needed for this script to run" 3)
 109
 110 Example:
 111
 112 $(notify "sudo $(basename "$0") \\
 113   -b file:///home/jenkins/securedlab \\
 114   -l lf -p pod2 \\
 115   -s os-odl-nofeature-ha" 2)
 116 EOF
 117 }
 118
 119 #
 120 # END of usage description
 121 ##############################################################################
 122
 123 ##############################################################################
 124 # BEGIN of colored notification wrapper
 125 #
 126 notify() {
 127     tput setaf "${2:-1}" || true
 128     echo -en "${1:-"[WARN] Unsupported opt arg: $3\\n"}"
 129     tput sgr0
 130 }
 131 #
 132 # END of colored notification wrapper
 133 ##############################################################################
 134
 135 ##############################################################################
 136 # BEGIN of variables to customize
 137 #
 138 CI_DEBUG=${CI_DEBUG:-0}; [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 139 REPO_ROOT_PATH=$(readlink -f "$(dirname "${BASH_SOURCE[0]}")/..")
 140 DEPLOY_DIR=$(cd "${REPO_ROOT_PATH}/mcp/scripts"; pwd)
 141 STORAGE_DIR=$(cd "${REPO_ROOT_PATH}/mcp/deploy/images"; pwd)
 142 RECLASS_CLUSTER_DIR=$(cd "${REPO_ROOT_PATH}/mcp/reclass/classes/cluster"; pwd)
 143 DEPLOY_TYPE='baremetal'
 144 OPNFV_BRIDGES=('pxebr' 'mgmt' 'internal' 'public')
 145 URI_REGEXP='(file|https?|ftp)://.*'
 146 BASE_CONFIG_URI="file://${REPO_ROOT_PATH}/mcp/config"
 147
 148 # Customize deploy workflow
 149 DRY_RUN=${DRY_RUN:-0}
 150 USE_EXISTING_PKGS=${USE_EXISTING_PKGS:-0}
 151 USE_EXISTING_INFRA=${USE_EXISTING_INFRA:-0}
 152 INFRA_CREATION_ONLY=${INFRA_CREATION_ONLY:-0}
 153 NO_DEPLOY_ENVIRONMENT=${NO_DEPLOY_ENVIRONMENT:-0}
 154 ERASE_ENV=${ERASE_ENV:-0}
 155
 156 source "${DEPLOY_DIR}/globals.sh"
 157 source "${DEPLOY_DIR}/lib.sh"
 158
 159 #
 160 # END of variables to customize
 161 ##############################################################################
 162
 163 ##############################################################################
 164 # BEGIN of main
 165 #
 166 set +x
 167 OPNFV_BRIDGE_IDX=0
 168 while getopts "b:B:dDfEFl:L:p:Ps:S:he" OPTION
 169 do
 170     case $OPTION in
 171         b)
 172             BASE_CONFIG_URI=${OPTARG}
 173             if [[ ! $BASE_CONFIG_URI =~ ${URI_REGEXP} ]]; then
 174                 notify "[ERROR] -b $BASE_CONFIG_URI - invalid URI\n"
 175                 usage
 176                 exit 1
 177             fi
 178             ;;
 179         B)
 180             OIFS=${IFS}
 181             IFS=','
 182             OPT_BRIDGES=($OPTARG)
 183             for bridge in "${OPT_BRIDGES[@]}"; do
 184                 if [ -n "${bridge}" ]; then
 185                     OPNFV_BRIDGES[${OPNFV_BRIDGE_IDX}]="${bridge}"
 186                 fi
 187                 ((OPNFV_BRIDGE_IDX+=1))
 188             done
 189             IFS=${OIFS}
 190             ;;
 191         d)
 192             DRY_RUN=1
 193             ;;
 194         D)
 195             CI_DEBUG=1
 196             ;;
 197         f)
 198             ((USE_EXISTING_INFRA+=1))
 199             ;;
 200         F)
 201             INFRA_CREATION_ONLY=1
 202             ;;
 203         e)
 204             NO_DEPLOY_ENVIRONMENT=1
 205             ;;
 206         E)
 207             ((ERASE_ENV+=1))
 208             ;;
 209         l)
 210             TARGET_LAB=${OPTARG}
 211             ;;
 212         L)
 213             DEPLOY_LOG="${OPTARG}"
 214             ;;
 215         p)
 216             TARGET_POD=${OPTARG}
 217             if [[ "${TARGET_POD}" =~ "virtual" ]]; then
 218                 DEPLOY_TYPE='virtual'
 219             fi
 220             ;;
 221         P)
 222             USE_EXISTING_PKGS=1
 223             ;;
 224         s)
 225             DEPLOY_SCENARIO=${OPTARG}
 226             ;;
 227         S)
 228             if [[ ${OPTARG} ]]; then
 229                 STORAGE_DIR="${OPTARG}"
 230             fi
 231             ;;
 232         h)
 233             usage
 234             exit 0
 235             ;;
 236         *)
 237             notify "[ERROR] Arguments not according to new argument style\n"
 238             exit 1
 239             ;;
 240     esac
 241 done
 242
 243 if [[ "$(sudo whoami)" != 'root' ]]; then
 244     notify "[ERROR] This script requires sudo rights\n" 1>&2
 245     exit 1
 246 fi
 247
 248 # Validate mandatory arguments are set
 249 if [ -z "${TARGET_LAB}" ] || [ -z "${TARGET_POD}" ] || \
 250    [ -z "${DEPLOY_SCENARIO}" ]; then
 251     notify "[ERROR] At least one of the mandatory args is missing!\n" 1>&2
 252     usage
 253     exit 1
 254 fi
 255
 256 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 257
 258 # Enable the automatic exit trap
 259 trap do_exit SIGINT SIGTERM EXIT
 260
 261 # Set no restrictive umask so that Jenkins can remove any residuals
 262 umask 0000
 263
 264 pushd "${DEPLOY_DIR}" > /dev/null
 265 # Prepare the deploy config files based on lab/pod information, deployment
 266 # scenario, etc.
 267
 268 # Install required packages on jump server
 269 if [ ${USE_EXISTING_PKGS} -eq 1 ]; then
 270     notify "[NOTE] Skipping distro pkg installation\n" 2 1>&2
 271 else
 272     notify "[NOTE] Installing required distro pkgs\n" 2 1>&2
 273     if [ -n "$(command -v apt-get)" ]; then
 274       pkg_type='deb'; pkg_cmd='sudo apt-get install -y'
 275     else
 276       pkg_type='rpm'; pkg_cmd='sudo yum install -y --skip-broken'
 277     fi
 278     eval "$(parse_yaml "./requirements_${pkg_type}.yaml")"
 279     for section in 'common' "${DEPLOY_TYPE}" "$(uname -m)"; do
 280       section_var="requirements_pkg_${section}[*]"
 281       pkg_list+=" ${!section_var}"
 282     done
 283     # shellcheck disable=SC2086
 284     ${pkg_cmd} ${pkg_list}
 285 fi
 286
 287 if ! virsh list >/dev/null 2>&1; then
 288     notify "[ERROR] This script requires hypervisor access\n" 1>&2
 289     exit 1
 290 fi
 291
 292 # Collect jump server system information for deploy debugging
 293 ./sysinfo_print.sh
 294
 295 # Clone git submodules and apply our patches
 296 make -C "${REPO_ROOT_PATH}/mcp/patches" deepclean patches-import
 297
 298 # Convert Pharos-compatible POD Descriptor File (PDF) to reclass model input
 299 PHAROS_GEN_CONFIG_SCRIPT="./pharos/config/utils/generate_config.py"
 300 PHAROS_INSTALLER_ADAPTER="./pharos/config/installers/fuel/pod_config.yml.j2"
 301 BASE_CONFIG_PDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/${TARGET_POD}.yaml"
 302 BASE_CONFIG_IDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/idf-${TARGET_POD}.yaml"
 303 LOCAL_PDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_PDF}")"
 304 LOCAL_IDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_IDF}")"
 305 LOCAL_PDF_RECLASS="${STORAGE_DIR}/pod_config.yml"
 306 if ! curl --create-dirs -o "${LOCAL_PDF}" "${BASE_CONFIG_PDF}"; then
 307     if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 308         notify "[ERROR] Could not retrieve PDF (Pod Descriptor File)!\n" 1>&2
 309         exit 1
 310     else
 311         notify "[WARN] Could not retrieve PDF (Pod Descriptor File)!\n" 3
 312     fi
 313 elif ! curl -o "${LOCAL_IDF}" "${BASE_CONFIG_IDF}"; then
 314     notify "[WARN] POD has no IDF (Installer Descriptor File)!\n" 3
 315 elif ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 316     -j "${PHAROS_INSTALLER_ADAPTER}" > "${LOCAL_PDF_RECLASS}"; then
 317     notify "[ERROR] Could not convert PDF to reclass model input!\n" 1>&2
 318     exit 1
 319 fi
 320
 321 # Check scenario file existence
 322 SCENARIO_DIR="../config/scenario"
 323 if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 324     notify "[ERROR] Scenario definition file is missing!\n" 1>&2
 325     exit 1
 326 fi
 327
 328 # Check defaults file existence
 329 if [ ! -f  "${SCENARIO_DIR}/defaults-$(uname -i).yaml" ]; then
 330     notify "[ERROR] Scenario defaults file is missing!\n" 1>&2
 331     exit 1
 332 fi
 333
 334 # Get required infra deployment data
 335 set +x
 336 eval "$(parse_yaml "${SCENARIO_DIR}/defaults-$(uname -i).yaml")"
 337 eval "$(parse_yaml "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml")"
 338 eval "$(parse_yaml "${LOCAL_PDF_RECLASS}")"
 339 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 340
 341 export CLUSTER_DOMAIN=${cluster_domain}
 342
 343 # Serialize vnode data as '<name0>,<ram0>,<vcpu0>|<name1>,<ram1>,<vcpu1>[...]'
 344 for node in "${virtual_nodes[@]}"; do
 345     virtual_custom_ram="virtual_${node}_ram"
 346     virtual_custom_vcpus="virtual_${node}_vcpus"
 347     virtual_nodes_data+="${node},"
 348     virtual_nodes_data+="${!virtual_custom_ram:-$virtual_default_ram},"
 349     virtual_nodes_data+="${!virtual_custom_vcpus:-$virtual_default_vcpus}|"
 350 done
 351 virtual_nodes_data=${virtual_nodes_data%|}
 352
 353 # Serialize repos, packages to (pre-)install/remove for:
 354 # - foundation node VM base image (virtual: all VMs, baremetal: cfg01|mas01)
 355 # - virtualized control plane VM base image (only when VCP is used)
 356 base_image_flavors=common
 357 if [[ "${cluster_states[*]}" =~ virtual_control ]]; then
 358   base_image_flavors+=" control"
 359 fi
 360 for sc in ${base_image_flavors}; do
 361   for va in apt_keys apt_repos pkg_install pkg_remove; do
 362     key=virtual_${sc}_${va}
 363     eval "${key}=\${${key}[@]// /|}"
 364     eval "${key}=\${${key}// /,}"
 365     virtual_repos_pkgs+="${!key}^"
 366   done
 367 done
 368 virtual_repos_pkgs=${virtual_repos_pkgs%^}
 369
 370 # Expand reclass and virsh network templates
 371 for tp in "${RECLASS_CLUSTER_DIR}/all-mcp-arch-common/opnfv/"*.template \
 372     net_*.template; do
 373         eval "cat <<-EOF
 374                 $(<"${tp}")
 375                 EOF" 2> /dev/null > "${tp%.template}"
 376 done
 377
 378 # Convert Pharos-compatible PDF to reclass network definitions
 379 if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 380     find "${RECLASS_CLUSTER_DIR}" -name '*.j2' | while read -r tp
 381     do
 382         if ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 383           -j "${tp}" > "${tp%.j2}"; then
 384              notify "[ERROR] Could not convert PDF to reclass network defs!\n"
 385              exit 1
 386         fi
 387     done
 388 fi
 389
 390 # Map PDF networks 'admin', 'mgmt', 'private' and 'public' to bridge names
 391 BR_NAMES=('admin' 'mgmt' 'private' 'public')
 392 BR_NETS=( \
 393     "${paramaters__param_opnfv_infra_maas_pxe_address}" \
 394     "${parameters__param_opnfv_infra_config_address}" \
 395     "${parameters__param_opnfv_openstack_compute_node01_tenant_address}" \
 396     "${parameters__param_opnfv_openstack_compute_node01_external_address}" \
 397 )
 398 for ((i = 0; i < ${#BR_NETS[@]}; i++)); do
 399     br_jump=$(eval echo "\$parameters__param_opnfv_jump_bridge_${BR_NAMES[i]}")
 400     if [ -n "${br_jump}" ] && [ "${br_jump}" != 'None' ] && \
 401        [ -d "/sys/class/net/${br_jump}/bridge" ]; then
 402             notify "[OK] Bridge found for '${BR_NAMES[i]}': ${br_jump}\n" 2
 403             OPNFV_BRIDGES[${i}]="${br_jump}"
 404     elif [ -n "${BR_NETS[i]}" ]; then
 405         bridge=$(ip addr | awk "/${BR_NETS[i]%.*}./ {print \$NF; exit}")
 406         if [ -n "${bridge}" ] && [ -d "/sys/class/net/${bridge}/bridge" ]; then
 407             notify "[OK] Bridge found for net ${BR_NETS[i]%.*}.0: ${bridge}\n" 2
 408             OPNFV_BRIDGES[${i}]="${bridge}"
 409         fi
 410     fi
 411 done
 412 notify "[NOTE] Using bridges: ${OPNFV_BRIDGES[*]}\n" 2
 413
 414 # Infra setup
 415 if [ ${DRY_RUN} -eq 1 ]; then
 416     notify "[NOTE] Dry run, skipping all deployment tasks\n" 2 1>&2
 417     exit 0
 418 elif [ ${USE_EXISTING_INFRA} -gt 0 ]; then
 419     notify "[NOTE] Use existing infra\n" 2 1>&2
 420     check_connection
 421 else
 422     generate_ssh_key
 423     prepare_vms "${base_image}" "${STORAGE_DIR}" "${virtual_repos_pkgs}" \
 424       "${virtual_nodes[@]}"
 425     create_networks "${OPNFV_BRIDGES[@]}"
 426     create_vms "${STORAGE_DIR}" "${virtual_nodes_data}" "${OPNFV_BRIDGES[@]}"
 427     update_mcpcontrol_network
 428     start_vms "${virtual_nodes[@]}"
 429     check_connection
 430 fi
 431 if [ ${USE_EXISTING_INFRA} -lt 2 ]; then
 432     wait_for 5 "./salt.sh ${LOCAL_PDF_RECLASS}"
 433 fi
 434
 435 # Openstack cluster setup
 436 set +x
 437 if [ ${INFRA_CREATION_ONLY} -eq 1 ] || [ ${NO_DEPLOY_ENVIRONMENT} -eq 1 ]; then
 438     notify "[NOTE] Skip openstack cluster setup\n" 2
 439 else
 440     for state in "${cluster_states[@]}"; do
 441         notify "[STATE] Applying state: ${state}\n" 2
 442         # shellcheck disable=SC2086,2029
 443         wait_for 5 "ssh ${SSH_OPTS} ${SSH_SALT} sudo \
 444             CI_DEBUG=$CI_DEBUG ERASE_ENV=$ERASE_ENV \
 445             /root/fuel/mcp/config/states/${state}"
 446     done
 447 fi
 448
 449 ./log.sh "${DEPLOY_LOG}"
 450
 451 popd > /dev/null
 452
 453 #
 454 # END of main
 455 ##############################################################################