ci/deploy.sh

   1 #!/bin/bash -e
   2 # shellcheck disable=SC2034,SC2154,SC1090,SC1091
   3 ##############################################################################
   4 # Copyright (c) 2017 Ericsson AB, Mirantis Inc., Enea AB and others.
   5 # jonas.bjurel@ericsson.com
   6 # All rights reserved. This program and the accompanying materials
   7 # are made available under the terms of the Apache License, Version 2.0
   8 # which accompanies this distribution, and is available at
   9 # http://www.apache.org/licenses/LICENSE-2.0
  10 ##############################################################################
  11
  12 ##############################################################################
  13 # BEGIN of Exit handlers
  14 #
  15 do_exit () {
  16     local RC=$?
  17     clean
  18     if [ ${RC} -eq 0 ]; then
  19         notify "\n[OK] MCP: Openstack installation finished succesfully!\n\n" 2
  20     else
  21         notify "\n[ERROR] MCP: Openstack installation threw a fatal error!\n\n"
  22     fi
  23 }
  24 #
  25 # End of Exit handlers
  26 ##############################################################################
  27
  28 ##############################################################################
  29 # BEGIN of usage description
  30 #
  31 usage ()
  32 {
  33 cat << EOF
  34 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  35 $(notify "$(basename "$0"): Deploy the Fuel@OPNFV MCP stack" 3)
  36
  37 $(notify "USAGE:" 2)
  38   $(basename "$0") -b base-uri -l lab-name -p pod-name -s deploy-scenario \\
  39     [-B PXE Bridge [-B Mgmt Bridge [-B Internal Bridge [-B Public Bridge]]]] \\
  40     [-S storage-dir] [-L /path/to/log/file.tar.gz] \\
  41     [-f [-f]] [-F] [-e] [-d] [-D]
  42
  43 $(notify "OPTIONS:" 2)
  44   -b  Base-uri for the stack-configuration structure
  45   -B  Bridge(s): 1st usage = PXE, 2nd = Mgmt, 3rd = Internal, 4th = Public
  46   -d  Dry-run
  47   -D  Debug logging
  48   -e  Do not launch environment deployment
  49   -f  Deploy on existing Salt master (use twice to also skip config sync)
  50   -F  Do only create a Salt master
  51   -h  Print this message and exit
  52   -l  Lab-name
  53   -p  Pod-name
  54   -s  Deploy-scenario short-name
  55   -S  Storage dir for VM images
  56   -L  Deployment log path and file name
  57
  58 $(notify "Description:" 2)
  59 Deploys the Fuel@OPNFV stack on the indicated lab resource.
  60
  61 This script provides the Fuel@OPNFV deployment abstraction.
  62 It depends on the OPNFV official configuration directory/file structure
  63 and provides a fairly simple mechanism to execute a deployment.
  64
  65 $(notify "Input parameters to the build script are:" 2)
  66 -b Base URI to the configuration directory (needs to be provided in URI style,
  67    it can be a local resource: file:// or a remote resource http(s)://).
  68    A POD Descriptor File (PDF) should be available at:
  69    <base-uri>/labs/<lab-name>/<pod-name>.yaml
  70    The default is './mcp/config'.
  71 -B Bridges to be used by deploy script. It can be specified several times,
  72    or as a comma separated list of bridges, or both: -B br1 -B br2,br3
  73    First occurence sets PXE Brige, next Mgmt, then Internal and Public.
  74    For an empty value, the deploy script will use virsh to create the default
  75    expected network (e.g. -B pxe,,,public will use existing "pxe" and "public"
  76    bridges, respectively create "mgmt" and "internal").
  77    Note that a virtual network "mcpcontrol" is always created. For virtual
  78    deploys, "mcpcontrol" is also used for PXE, leaving the PXE bridge unused.
  79    For baremetal deploys, PXE bridge is used for baremetal node provisioning,
  80    while "mcpcontrol" is used to provision the infrastructure VMs only.
  81    The default is 'pxebr'.
  82 -d Dry-run - Produce deploy config files, but do not execute deploy
  83 -D Debug logging - Enable extra logging in sh deploy scripts (set -x)
  84 -e Do not launch environment deployment
  85 -f Deploy on existing Salt master. It will skip infrastructure VM creation,
  86    but it will still sync reclass configuration from current repo to Salt
  87    Master node. If specified twice (e.g. -f -f), config sync will also be
  88    skipped.
  89 -F Do only create a Salt master
  90 -h Print this message and exit
  91 -L Deployment log path and name, eg. -L /home/jenkins/job.log.tar.gz
  92 -l Lab name as defined in the configuration directory, e.g. lf
  93 -p POD name as defined in the configuration directory, e.g. pod2
  94 -s Deployment-scenario, this points to a short deployment scenario name, which
  95    has to be defined in config directory (e.g. os-odl-nofeature-ha).
  96 -S Storage dir for VM images, default is mcp/deploy/images
  97
  98 $(notify "[NOTE] sudo & virsh priviledges are needed for this script to run" 3)
  99
 100 Example:
 101
 102 $(notify "sudo $(basename "$0") \\
 103   -b file:///home/jenkins/securedlab \\
 104   -l lf -p pod2 \\
 105   -s os-odl-nofeature-ha" 2)
 106 EOF
 107 }
 108
 109 #
 110 # END of usage description
 111 ##############################################################################
 112
 113 ##############################################################################
 114 # BEGIN of colored notification wrapper
 115 #
 116 notify() {
 117     tput setaf "${2:-1}" || true
 118     echo -en "${1:-"[WARN] Unsupported opt arg: $3\\n"}"
 119     tput sgr0
 120 }
 121 #
 122 # END of colored notification wrapper
 123 ##############################################################################
 124
 125 ##############################################################################
 126 # BEGIN of deployment clean-up
 127 #
 128 clean() {
 129     echo "Cleaning up deploy tmp directories"
 130 }
 131 #
 132 # END of deployment clean-up
 133 ##############################################################################
 134
 135 ##############################################################################
 136 # BEGIN of variables to customize
 137 #
 138 CI_DEBUG=${CI_DEBUG:-0}; [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 139 REPO_ROOT_PATH=$(readlink -f "$(dirname "${BASH_SOURCE[0]}")/..")
 140 DEPLOY_DIR=$(cd "${REPO_ROOT_PATH}/mcp/scripts"; pwd)
 141 STORAGE_DIR=$(cd "${REPO_ROOT_PATH}/mcp/deploy/images"; pwd)
 142 RECLASS_CLUSTER_DIR=$(cd "${REPO_ROOT_PATH}/mcp/reclass/classes/cluster"; pwd)
 143 DEPLOY_TYPE='baremetal'
 144 OPNFV_BRIDGES=('pxebr' 'mgmt' 'internal' 'public')
 145 URI_REGEXP='(file|https?|ftp)://.*'
 146 BASE_CONFIG_URI="file://${REPO_ROOT_PATH}/mcp/config"
 147
 148 # Customize deploy workflow
 149 DRY_RUN=${DRY_RUN:-0}
 150 USE_EXISTING_INFRA=${USE_EXISTING_INFRA:-0}
 151 INFRA_CREATION_ONLY=${INFRA_CREATION_ONLY:-0}
 152 NO_DEPLOY_ENVIRONMENT=${NO_DEPLOY_ENVIRONMENT:-0}
 153
 154 source "${DEPLOY_DIR}/globals.sh"
 155
 156 #
 157 # END of variables to customize
 158 ##############################################################################
 159
 160 ##############################################################################
 161 # BEGIN of main
 162 #
 163 set +x
 164 OPNFV_BRIDGE_IDX=0
 165 while getopts "b:B:dDfFl:L:p:s:S:he" OPTION
 166 do
 167     case $OPTION in
 168         b)
 169             BASE_CONFIG_URI=${OPTARG}
 170             if [[ ! $BASE_CONFIG_URI =~ ${URI_REGEXP} ]]; then
 171                 notify "[ERROR] -b $BASE_CONFIG_URI - invalid URI\n"
 172                 usage
 173                 exit 1
 174             fi
 175             ;;
 176         B)
 177             OIFS=${IFS}
 178             IFS=','
 179             OPT_BRIDGES=($OPTARG)
 180             for bridge in "${OPT_BRIDGES[@]}"; do
 181                 if [ -n "${bridge}" ]; then
 182                     OPNFV_BRIDGES[${OPNFV_BRIDGE_IDX}]="${bridge}"
 183                 fi
 184                 ((OPNFV_BRIDGE_IDX+=1))
 185             done
 186             IFS=${OIFS}
 187             ;;
 188         d)
 189             DRY_RUN=1
 190             ;;
 191         D)
 192             CI_DEBUG=1
 193             ;;
 194         f)
 195             ((USE_EXISTING_INFRA+=1))
 196             ;;
 197         F)
 198             INFRA_CREATION_ONLY=1
 199             ;;
 200         e)
 201             NO_DEPLOY_ENVIRONMENT=1
 202             ;;
 203         l)
 204             TARGET_LAB=${OPTARG}
 205             ;;
 206         L)
 207             DEPLOY_LOG="${OPTARG}"
 208             ;;
 209         p)
 210             TARGET_POD=${OPTARG}
 211             if [[ "${TARGET_POD}" =~ "virtual" ]]; then
 212                 DEPLOY_TYPE='virtual'
 213             fi
 214             ;;
 215         s)
 216             DEPLOY_SCENARIO=${OPTARG}
 217             ;;
 218         S)
 219             if [[ ${OPTARG} ]]; then
 220                 STORAGE_DIR="${OPTARG}"
 221             fi
 222             ;;
 223         h)
 224             usage
 225             exit 0
 226             ;;
 227         *)
 228             notify "[ERROR] Arguments not according to new argument style\n"
 229             exit 1
 230             ;;
 231     esac
 232 done
 233
 234 if [[ "$(sudo whoami)" != 'root' ]]; then
 235     notify "[ERROR] This script requires sudo rights\n" 1>&2
 236     exit 1
 237 fi
 238
 239 # Validate mandatory arguments are set
 240 if [ -z "${TARGET_LAB}" ] || [ -z "${TARGET_POD}" ] || \
 241    [ -z "${DEPLOY_SCENARIO}" ]; then
 242     notify "[ERROR] At least one of the mandatory args is missing!\n" 1>&2
 243     usage
 244     exit 1
 245 fi
 246
 247 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 248
 249 # Enable the automatic exit trap
 250 trap do_exit SIGINT SIGTERM EXIT
 251
 252 # Set no restrictive umask so that Jenkins can remove any residuals
 253 umask 0000
 254
 255 clean
 256
 257 pushd "${DEPLOY_DIR}" > /dev/null
 258 # Prepare the deploy config files based on lab/pod information, deployment
 259 # scenario, etc.
 260
 261 # Install required packages
 262 [ -n "$(command -v apt-get)" ] && sudo apt-get install -y \
 263   git make rsync mkisofs curl virtinst cpu-checker qemu-kvm uuid-runtime \
 264   libvirt-bin
 265 [ -n "$(command -v yum)" ] && sudo yum install -y --skip-broken \
 266   git make rsync genisoimage curl virt-install qemu-kvm util-linux \
 267   libvirt
 268
 269 # For baremetal, python is indirectly required for PDF parsing
 270 if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 271   [ -n "$(command -v apt-get)" ] && sudo apt-get install -y \
 272     python python-ipaddress python-jinja2 python-yaml
 273   [ -n "$(command -v yum)" ] && sudo yum install -y --skip-broken \
 274     python python-ipaddress python-jinja2 python-yaml
 275 fi
 276
 277 if ! virsh list >/dev/null 2>&1; then
 278     notify "[ERROR] This script requires hypervisor access\n" 1>&2
 279     exit 1
 280 fi
 281
 282 # Clone git submodules and apply our patches
 283 make -C "${REPO_ROOT_PATH}/mcp/patches" deepclean patches-import
 284
 285 # Convert Pharos-compatible POD Descriptor File (PDF) to reclass model input
 286 PHAROS_GEN_CONFIG_SCRIPT="./pharos/config/utils/generate_config.py"
 287 PHAROS_INSTALLER_ADAPTER="./pharos/config/installers/fuel/pod_config.yml.j2"
 288 BASE_CONFIG_PDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/${TARGET_POD}.yaml"
 289 BASE_CONFIG_IDF="${BASE_CONFIG_URI}/labs/${TARGET_LAB}/idf-${TARGET_POD}.yaml"
 290 LOCAL_PDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_PDF}")"
 291 LOCAL_IDF="${STORAGE_DIR}/$(basename "${BASE_CONFIG_IDF}")"
 292 LOCAL_PDF_RECLASS="${STORAGE_DIR}/pod_config.yml"
 293 if ! curl --create-dirs -o "${LOCAL_PDF}" "${BASE_CONFIG_PDF}"; then
 294     if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 295         notify "[ERROR] Could not retrieve PDF (Pod Descriptor File)!\n" 1>&2
 296         exit 1
 297     else
 298         notify "[WARN] Could not retrieve PDF (Pod Descriptor File)!\n" 3
 299     fi
 300 elif ! curl -o "${LOCAL_IDF}" "${BASE_CONFIG_IDF}"; then
 301     notify "[WARN] POD has no IDF (Installer Descriptor File)!\n" 3
 302 elif ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 303     -j "${PHAROS_INSTALLER_ADAPTER}" > "${LOCAL_PDF_RECLASS}"; then
 304     notify "[ERROR] Could not convert PDF to reclass model input!\n" 1>&2
 305     exit 1
 306 fi
 307
 308 # Check scenario file existence
 309 SCENARIO_DIR="../config/scenario"
 310 if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 311     notify "[WARN] ${DEPLOY_SCENARIO}.yaml not found!\n" 3
 312     notify "[WARN] Setting simplest scenario (os-nosdn-nofeature-noha)\n" 3
 313     DEPLOY_SCENARIO='os-nosdn-nofeature-noha'
 314     if [ ! -f  "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml" ]; then
 315         notify "[ERROR] Scenario definition file is missing!\n" 1>&2
 316         exit 1
 317     fi
 318 fi
 319
 320 # Check defaults file existence
 321 if [ ! -f  "${SCENARIO_DIR}/defaults-$(uname -i).yaml" ]; then
 322     notify "[ERROR] Scenario defaults file is missing!\n" 1>&2
 323     exit 1
 324 fi
 325
 326 # Get required infra deployment data
 327 set +x
 328 source lib.sh
 329 eval "$(parse_yaml "${SCENARIO_DIR}/defaults-$(uname -i).yaml")"
 330 eval "$(parse_yaml "${SCENARIO_DIR}/${DEPLOY_TYPE}/${DEPLOY_SCENARIO}.yaml")"
 331 eval "$(parse_yaml "${LOCAL_PDF_RECLASS}")"
 332 [[ "${CI_DEBUG}" =~ (false|0) ]] || set -x
 333
 334 export CLUSTER_DOMAIN=${cluster_domain}
 335
 336 # Serialize vnode data as '<name0>,<ram0>,<vcpu0>|<name1>,<ram1>,<vcpu1>[...]'
 337 for node in "${virtual_nodes[@]}"; do
 338     virtual_custom_ram="virtual_${node}_ram"
 339     virtual_custom_vcpus="virtual_${node}_vcpus"
 340     virtual_nodes_data+="${node},"
 341     virtual_nodes_data+="${!virtual_custom_ram:-$virtual_default_ram},"
 342     virtual_nodes_data+="${!virtual_custom_vcpus:-$virtual_default_vcpus}|"
 343 done
 344 virtual_nodes_data=${virtual_nodes_data%|}
 345
 346 # Expand reclass and virsh network templates
 347 for tp in "${RECLASS_CLUSTER_DIR}/all-mcp-ocata-common/opnfv/"*.template \
 348     net_*.template; do
 349         eval "cat <<-EOF
 350                 $(<"${tp}")
 351                 EOF" 2> /dev/null > "${tp%.template}"
 352 done
 353
 354 # Convert Pharos-compatible PDF to reclass network definitions
 355 if [ "${DEPLOY_TYPE}" = 'baremetal' ]; then
 356     find "${RECLASS_CLUSTER_DIR}/${CLUSTER_DOMAIN%.local}" \
 357          "${RECLASS_CLUSTER_DIR}/${DEPLOY_TYPE}-mcp-ocata-common" \
 358          -name '*.j2' | while read -r tp
 359     do
 360         if ! "${PHAROS_GEN_CONFIG_SCRIPT}" -y "${LOCAL_PDF}" \
 361           -j "${tp}" > "${tp%.j2}"; then
 362              notify "[ERROR] Could not convert PDF to reclass network defs!\n"
 363              exit 1
 364         fi
 365     done
 366 fi
 367
 368 # Map PDF networks 'admin', 'mgmt', 'private' and 'public' to bridge names
 369 BR_NAMES=('admin' 'mgmt' 'private' 'public')
 370 BR_NETS=( \
 371     "${parameters__param_opnfv_maas_pxe_address}" \
 372     "${parameters__param_opnfv_infra_config_address}" \
 373     "${parameters__param_opnfv_openstack_compute_node01_tenant_address}" \
 374     "${parameters__param_opnfv_openstack_compute_node01_external_address}" \
 375 )
 376 for ((i = 0; i < ${#BR_NETS[@]}; i++)); do
 377     br_jump=$(eval echo "\$parameters__param_opnfv_jump_bridge_${BR_NAMES[i]}")
 378     if [ -n "${br_jump}" ] && [ "${br_jump}" != 'None' ] && \
 379        [ -d "/sys/class/net/${br_jump}/bridge" ]; then
 380             notify "[OK] Bridge found for '${BR_NAMES[i]}': ${br_jump}\n" 2
 381             OPNFV_BRIDGES[${i}]="${br_jump}"
 382     elif [ -n "${BR_NETS[i]}" ]; then
 383         bridge=$(ip addr | awk "/${BR_NETS[i]%.*}./ {print \$NF; exit}")
 384         if [ -n "${bridge}" ] && [ -d "/sys/class/net/${bridge}/bridge" ]; then
 385             notify "[OK] Bridge found for net ${BR_NETS[i]%.*}.0: ${bridge}\n" 2
 386             OPNFV_BRIDGES[${i}]="${bridge}"
 387         fi
 388     fi
 389 done
 390 notify "[NOTE] Using bridges: ${OPNFV_BRIDGES[*]}\n" 2
 391
 392 # Infra setup
 393 if [ ${DRY_RUN} -eq 1 ]; then
 394     notify "[NOTE] Dry run, skipping all deployment tasks\n" 2 1>&2
 395     exit 0
 396 elif [ ${USE_EXISTING_INFRA} -gt 0 ]; then
 397     notify "[NOTE] Use existing infra\n" 2 1>&2
 398     check_connection
 399 else
 400     generate_ssh_key
 401     prepare_vms "${base_image}" "${STORAGE_DIR}" "${virtual_nodes[@]}"
 402     create_networks "${OPNFV_BRIDGES[@]}"
 403     create_vms "${STORAGE_DIR}" "${virtual_nodes_data}" "${OPNFV_BRIDGES[@]}"
 404     update_mcpcontrol_network
 405     start_vms "${virtual_nodes[@]}"
 406     check_connection
 407 fi
 408 if [ ${USE_EXISTING_INFRA} -lt 2 ]; then
 409     wait_for 5 "./salt.sh ${LOCAL_PDF_RECLASS}"
 410 fi
 411
 412 # Openstack cluster setup
 413 set +x
 414 if [ ${INFRA_CREATION_ONLY} -eq 1 ] || [ ${NO_DEPLOY_ENVIRONMENT} -eq 1 ]; then
 415     notify "[NOTE] Skip openstack cluster setup\n" 2
 416 else
 417     for state in "${cluster_states[@]}"; do
 418         notify "[STATE] Applying state: ${state}\n" 2
 419         # shellcheck disable=SC2086,2029
 420         wait_for 5 "ssh ${SSH_OPTS} ${SSH_SALT} \
 421             sudo /root/fuel/mcp/config/states/${state}"
 422     done
 423 fi
 424
 425 ./log.sh "${DEPLOY_LOG}"
 426
 427 popd > /dev/null
 428
 429 #
 430 # END of main
 431 ##############################################################################