jjb/xci/xci-set-scenario.sh

   1 #!/bin/bash
   2 # SPDX-license-identifier: Apache-2.0
   3 ##############################################################################
   4 # Copyright (c) 2018 SUSE and others.
   5 # All rights reserved. This program and the accompanying materials
   6 # are made available under the terms of the Apache License, Version 2.0
   7 # which accompanies this distribution, and is available at
   8 # http://www.apache.org/licenses/LICENSE-2.0
   9 ##############################################################################
  10 set -o pipefail
  11
  12 #----------------------------------------------------------------------
  13 # This script is used by CI and executed by Jenkins jobs.
  14 # You are not supposed to use this script manually if you don't know
  15 # what you are doing.
  16 #----------------------------------------------------------------------
  17
  18 # This function allows developers to specify the impacted scenario by adding
  19 # the info about installer and scenario into the commit message or using
  20 # the topic branch names. This results in either skipping the real verification
  21 # totally or skipping the determining the installer and scenario programmatically.
  22 # It is important to note that this feature is only available to generic scenarios
  23 # and only single installer/scenario pair is allowed.
  24 # The input in commit message should be placed at the end of the commit message body,
  25 # before the signed-off and change-id lines.
  26 #
  27 # Pattern to be searched in Commit Message
  28 #   deploy-scenario:<scenario-name>
  29 #   installer-type:<installer-type>
  30 # Examples:
  31 #   deploy-scenario:os-odl-nofeature
  32 #   installer-type:osa
  33 #
  34 #   deploy-scenario:k8-nosdn-nofeature
  35 #   installer-type:kubespray
  36 #
  37 # Patterns to be searched in topic branch name
  38 #   skip-verify
  39 #   skip-deployment
  40 #   force-verify
  41 function override_scenario() {
  42     echo "Processing $GERRIT_PROJECT patchset $GERRIT_REFSPEC"
  43
  44     # ensure the metadata we record is consistent for all types of patches including skipped ones
  45     # extract releng-xci sha
  46     XCI_SHA=$(cd $WORKSPACE && git rev-parse HEAD)
  47
  48     # extract scenario sha which is same as releng-xci sha for generic scenarios
  49     SCENARIO_SHA=$XCI_SHA
  50
  51     # process topic branch names
  52     if [[ "$GERRIT_TOPIC" =~ skip-verify|skip-deployment|force-verify ]]; then
  53         [[ "$GERRIT_TOPIC" =~ force-verify ]] && echo "Forcing CI verification using default scenario and installer!"
  54         [[ "$GERRIT_TOPIC" =~ skip-verify|skip-deployment ]] && echo "Skipping verification!"
  55         echo "INSTALLER_TYPE=osa" > $WORK_DIRECTORY/scenario.properties
  56         echo "DEPLOY_SCENARIO=os-nosdn-nofeature" >> $WORK_DIRECTORY/scenario.properties
  57         echo "XCI_SHA=$XCI_SHA" >> $WORK_DIRECTORY/scenario.properties
  58         echo "SCENARIO_SHA=$SCENARIO_SHA" >> $WORK_DIRECTORY/scenario.properties
  59         echo "PROJECT_NAME=$GERRIT_PROJECT" >> $WORK_DIRECTORY/scenario.properties
  60         exit 0
  61     fi
  62
  63     # process commit message
  64     if [[ "$GERRIT_CHANGE_COMMIT_MESSAGE" =~ "installer-type:" && "$GERRIT_CHANGE_COMMIT_MESSAGE" =~ "deploy-scenario:" ]]; then
  65         INSTALLER_TYPE=$(echo $GERRIT_CHANGE_COMMIT_MESSAGE | awk '/installer-type:/' RS=" " | cut -d":" -f2)
  66         DEPLOY_SCENARIO=$(echo $GERRIT_CHANGE_COMMIT_MESSAGE | awk '/deploy-scenario:/' RS=" " | cut -d":" -f2)
  67
  68         if [[ -z "$INSTALLER_TYPE" || -z "$DEPLOY_SCENARIO" ]]; then
  69             echo "Installer type or deploy scenario is not specified. Falling back to programmatically determining them."
  70         else
  71             echo "Recording the installer '$INSTALLER_TYPE' and scenario '$DEPLOY_SCENARIO' for downstream jobs"
  72             echo "INSTALLER_TYPE=$INSTALLER_TYPE" > $WORK_DIRECTORY/scenario.properties
  73             echo "DEPLOY_SCENARIO=$DEPLOY_SCENARIO" >> $WORK_DIRECTORY/scenario.properties
  74             echo "XCI_SHA=$XCI_SHA" >> $WORK_DIRECTORY/scenario.properties
  75             echo "SCENARIO_SHA=$SCENARIO_SHA" >> $WORK_DIRECTORY/scenario.properties
  76             echo "PROJECT_NAME=$GERRIT_PROJECT" >> $WORK_DIRECTORY/scenario.properties
  77             exit 0
  78         fi
  79     else
  80         echo "Installer type or deploy scenario is not specified. Falling back to programmatically determining them."
  81     fi
  82 }
  83
  84 # This function determines the impacted scenario by processing the Gerrit
  85 # change and using diff to see what changed. If changed files belong to a scenario
  86 # its name gets recorded for deploying and testing the right scenario.
  87 #
  88 # Please note that if the change is coming to releng-xci and the scenario is
  89 # not specified in commit message, we set the installer and scenario to default
  90 # ones; osa and os-nosdn-nofeature.
  91 #
  92 # Pattern
  93 #   <project-repo>/scenarios/<scenario>/<impacted files>: <scenario>
  94 function determine_scenario() {
  95     echo "Processing $GERRIT_PROJECT patchset $GERRIT_REFSPEC"
  96
  97     # if the change is coming to releng-xci, we just set the default installer
  98     # and scenario.
  99     # in most cases, the proposer of the change states the impacted scenario
 100     # in commit message and we don't end up here very frequently
 101     if [[ $GERRIT_PROJECT == "releng-xci" ]]; then
 102         echo "Change is proposed to releng-xci. Setting default installer and scenario"
 103         # ensure the metadata we record is consistent for all types of patches including skipped ones
 104         # extract releng-xci sha
 105         XCI_SHA=$(cd $WORKSPACE && git rev-parse HEAD)
 106
 107         # extract scenario sha which is same as releng-xci sha for generic scenarios
 108         SCENARIO_SHA=$XCI_SHA
 109
 110         echo "INSTALLER_TYPE=osa" > $WORK_DIRECTORY/scenario.properties
 111         echo "DEPLOY_SCENARIO=os-nosdn-nofeature" >> $WORK_DIRECTORY/scenario.properties
 112         echo "XCI_SHA=$XCI_SHA" >> $WORK_DIRECTORY/scenario.properties
 113         echo "SCENARIO_SHA=$SCENARIO_SHA" >> $WORK_DIRECTORY/scenario.properties
 114         echo "PROJECT_NAME=$GERRIT_PROJECT" >> $WORK_DIRECTORY/scenario.properties
 115         exit 0
 116     fi
 117
 118     # remove the clone that is done via jenkins and place releng-xci there so the
 119     # things continue functioning properly
 120     cd $HOME && /bin/rm -rf $WORKSPACE
 121     git clone -q https://gerrit.opnfv.org/gerrit/releng-xci $WORKSPACE && cd $WORKSPACE
 122
 123     # fix the permissions so ssh doesn't complain due to having world-readable keyfiles
 124     chmod -R go-rwx $WORKSPACE/xci/scripts/vm
 125
 126     # clone the project repo and fetch the patchset to process for further processing
 127     git clone -q https://gerrit.opnfv.org/gerrit/$GERRIT_PROJECT $WORK_DIRECTORY/$GERRIT_PROJECT
 128     cd $WORK_DIRECTORY/$GERRIT_PROJECT
 129     git fetch -q https://gerrit.opnfv.org/gerrit/$GERRIT_PROJECT $GERRIT_REFSPEC && git checkout -q FETCH_HEAD
 130
 131     # process the diff to find out what scenario(s) are impacted - there should only be 1
 132     DEPLOY_SCENARIO+=$(git diff HEAD^..HEAD --name-only | grep scenarios | awk -F '[/|/]' '{print $2}' | uniq)
 133
 134     # extract releng-xci sha
 135     XCI_SHA=$(cd $WORKSPACE && git rev-parse HEAD)
 136
 137     # extract scenario sha
 138     SCENARIO_SHA=$(cd $WORK_DIRECTORY/$GERRIT_PROJECT && git rev-parse HEAD)
 139 }
 140
 141 echo "Determining the impacted scenario"
 142
 143 declare -a DEPLOY_SCENARIO
 144
 145 # ensure GERRIT_TOPIC is set
 146 GERRIT_TOPIC="${GERRIT_TOPIC:-''}"
 147
 148 # this directory is where the temporary clones and files are created
 149 # while extracting the impacted scenario
 150 WORK_DIRECTORY=/tmp/$GERRIT_CHANGE_NUMBER/$DISTRO
 151 /bin/rm -rf $WORK_DIRECTORY && mkdir -p $WORK_DIRECTORY
 152
 153 override_scenario
 154 determine_scenario
 155
 156 # ensure single scenario is impacted
 157     if [[ $(IFS=$'\n' echo ${DEPLOY_SCENARIO[@]} | wc -w) != 1 ]]; then
 158     echo "Change impacts multiple scenarios!"
 159     echo "XCI doesn't support testing of changes that impact multiple scenarios currently."
 160     echo "Please split your change into multiple different/dependent changes, each modifying single scenario."
 161     exit 1
 162 fi
 163
 164 # set the installer
 165 case ${DEPLOY_SCENARIO[0]} in
 166     os-*)
 167         INSTALLER_TYPE=osa
 168         ;;
 169     k8-*)
 170         INSTALLER_TYPE=kubespray
 171         ;;
 172     *)
 173         echo "Unable to determine the installer. Exiting!"
 174         exit 1
 175         ;;
 176 esac
 177
 178 # save the installer and scenario names into java properties file
 179 # so they can be injected to downstream jobs via envInject
 180 echo "Recording the installer '$INSTALLER_TYPE' and scenario '${DEPLOY_SCENARIO[0]}' and SHAs for downstream jobs"
 181 echo "INSTALLER_TYPE=$INSTALLER_TYPE" > $WORK_DIRECTORY/scenario.properties
 182 echo "DEPLOY_SCENARIO=$DEPLOY_SCENARIO" >> $WORK_DIRECTORY/scenario.properties
 183 echo "XCI_SHA=$XCI_SHA" >> $WORK_DIRECTORY/scenario.properties
 184 echo "SCENARIO_SHA=$SCENARIO_SHA" >> $WORK_DIRECTORY/scenario.properties
 185 echo "PROJECT_NAME=$GERRIT_PROJECT" >> $WORK_DIRECTORY/scenario.properties
 186
 187 # skip scenario support check if the job is promotion job
 188 if [[ "$JOB_NAME" =~ (os|k8) ]]; then
 189     exit 0
 190 fi
 191
 192 # skip the deployment if the scenario is not supported on this distro
 193 OPNFV_SCENARIO_REQUIREMENTS=$WORKSPACE/xci/opnfv-scenario-requirements.yml
 194 if ! sed -n "/^- scenario: ${DEPLOY_SCENARIO[0]}$/,/^$/p" $OPNFV_SCENARIO_REQUIREMENTS | grep -q $DISTRO; then
 195     echo "# SKIPPED: Scenario ${DEPLOY_SCENARIO[0]} is NOT supported on $DISTRO"
 196     exit 0
 197 fi