ci/cyclicTestTrigger.sh

   1 #!/bin/bash
   2
   3 #############################################################
   4 ## This script defines the functions present in
   5 ## test_kvmfornfv.sh interface.These will launch ubuntu
   6 ## docker container runs cyclictest through yardstick
   7 ## and verifies the test results.
   8 ############################################################
   9
  10 HOST_IP=$1
  11 testTime=$2
  12 testType=$3
  13 testName=$4
  14
  15 source $WORKSPACE/ci/envs/utils.sh
  16 KERNELRPM_VERSION=$( getKernelVersion )
  17 QEMURPM_VERSION=$( getQemuVersion )
  18
  19 if [ -z ${KERNELRPM_VERSION} ];then
  20    echo "Kernel RPM not found in build_output Directory"
  21    exit 1
  22 fi
  23 if [ -z ${QEMURPM_VERSION} ];then
  24    echo "QEMU RPM not found in build_output Directory"
  25    exit 1
  26 fi
  27
  28 #calculating and verifying sha512sum of the guestimage.
  29 function verifyGuestImage {
  30    scp $WORKSPACE/build_output/guest1.sha512 root@${HOST_IP}:/root/images
  31    checksum=$(sudo ssh root@${HOST_IP} "cd /root/images/ && sha512sum -c guest1.sha512 | awk '{print \$2}'")
  32    if [ "$checksum" != "OK" ]; then
  33       echo "Something wrong with the image, please verify"
  34       return 1
  35    fi
  36 }
  37
  38 #Updating the pod.yaml file with HOST_IP,kvmfornfv_cyclictest_idle_idle.yaml with loops and interval
  39 function updateYaml {
  40    cd $WORKSPACE/tests/
  41    sed -ri "s/[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}/${HOST_IP}/" pod.yaml
  42    sed -ri "s/loops: [0-9]*/loops: ${testTime}/"  kvmfornfv_cyclictest_hostenv_guestenv.yaml
  43    sed -ri "0,/interval: [0-9]*/s//interval: 1000/"  kvmfornfv_cyclictest_hostenv_guestenv.yaml
  44    sed -ri "s/tc: \"kvmfornfv_cyclictest-node-context\"/tc: \"kvmfornfv_cyclictest_${testName}\"/" kvmfornfv_cyclictest_hostenv_guestenv.yaml
  45    cp kvmfornfv_cyclictest_hostenv_guestenv.yaml kvmfornfv_cyclictest_${testName}.yaml
  46    case $testName in
  47
  48        idle_idle)
  49                 ;;
  50        cpustress_idle)
  51                       sed -i '/host-run-qemu.sh/a\    \- \"stress_daily.sh cpu\"' kvmfornfv_cyclictest_${testName}.yaml
  52                       ;;
  53        memorystress_idle)
  54                       sed -i '/host-run-qemu.sh/a\    \- \"stress_daily.sh memory\"' kvmfornfv_cyclictest_${testName}.yaml
  55                       ;;
  56        iostress_idle)
  57                       sed -i '/host-run-qemu.sh/a\    \- \"stress_daily.sh io\"' kvmfornfv_cyclictest_${testName}.yaml
  58                       ;;
  59        idle_cpustress)
  60                       sed -i '/guest-setup1.sh/a\    \- \"stress_daily.sh cpu\"' kvmfornfv_cyclictest_${testName}.yaml
  61                       ;;
  62        idle_memorystress)
  63                       sed -i '/guest-setup1.sh/a\    \- \"stress_daily.sh memory\"' kvmfornfv_cyclictest_${testName}.yaml
  64                       ;;
  65        idle_iostress)
  66                       sed -i '/guest-setup1.sh/a\    \- \"stress_daily.sh memory\"' kvmfornfv_cyclictest_${testName}.yaml
  67                       ;;
  68         *)
  69           echo "Incorrect test environment: $testName"
  70           exit 1
  71           ;;
  72     esac
  73 }
  74
  75 #cleaning the environment after executing the test through yardstick.
  76 function env_clean {
  77     container_id=`sudo docker ps -a | grep kvmfornfv_${testType}_${testName} |awk '{print \$1}'|sed -e 's/\r//g'`
  78     sudo docker stop ${container_id}
  79     sudo docker rm ${container_id}
  80     sudo ssh root@${HOST_IP} "rm -rf /root/workspace/*"
  81     sudo ssh root@${HOST_IP} "pid=\$(ps aux | grep 'qemu' | awk '{print \$2}' | head -1); echo \$pid |xargs kill"
  82     sudo rm -rf /tmp/kvmtest-${testType}*
  83 }
  84
  85 #Cleaning the latest kernel changes on host after executing the test.
  86 function host_clean {
  87     sudo ssh root@${HOST_IP} "rpm=\$(rpm -qa | grep 'kernel-${KERNELRPM_VERSION}' | awk '{print \$1}'); rpm -ev \$rpm"
  88     sudo ssh root@${HOST_IP} "rm -rf /boot/initramfs-${KERNELRPM_VERSION}*.img"
  89     sudo ssh root@${HOST_IP} "grub2-mkconfig -o /boot/grub2/grub.cfg"
  90     sudo ssh root@${HOST_IP} "rpm=\$(rpm -qa | grep 'qemu-${QEMURPM_VERSION}'| awk '{print \$1}'); rpm -ev \$rpm"
  91     sudo ssh root@${HOST_IP} "reboot"
  92 }
  93
  94 function cleanup {
  95    output=$1
  96    env_clean
  97    host_clean
  98    if [ $output != 0 ];then
  99       echo "Yardstick Failed.Please check cyclictest.sh"
 100       return 1
 101    else
 102       return 0
 103    fi
 104 }
 105
 106 #Creating a docker image with yardstick installed and Verify the results of cyclictest
 107 function runCyclicTest {
 108    docker_image_dir=$WORKSPACE/docker_image_build
 109    ( cd ${docker_image_dir}; sudo docker build  -t kvmfornfv:latest --no-cache=true . )
 110    if [ ${?} -ne 0 ] ; then
 111       echo  "Docker image build failed"
 112       id=$(sudo docker ps -a  | head  -2 | tail -1 | awk '{print $1}'); sudo docker rm -f $id
 113       exit 1
 114    fi
 115    time_stamp=$(date +%Y%m%d%H%M%S)
 116    volume=/tmp/kvmtest-${testType}-${time_stamp}
 117    mkdir -p $volume/{image,rpm,scripts}
 118
 119    #copying required files to run yardstick cyclic testcase
 120    cp $WORKSPACE/build_output/kernel-${KERNELRPM_VERSION}*.rpm ${volume}/rpm
 121    cp $WORKSPACE/build_output/qemu-${QEMURPM_VERSION}*.rpm ${volume}/rpm
 122    cp -r $WORKSPACE/ci/envs/* ${volume}/scripts
 123    cp -r $WORKSPACE/tests/kvmfornfv_cyclictest_${testName}.yaml ${volume}
 124    cp -r $WORKSPACE/tests/pod.yaml ${volume}/scripts
 125
 126    #Launching ubuntu docker container to run yardstick
 127    sudo docker run -i -v ${volume}:/opt --net=host --name kvmfornfv_${testType}_${testName} \
 128    kvmfornfv:latest  /bin/bash -c "cd /opt/scripts && ls; ./cyclictest.sh $testType $testName"
 129    cyclictest_output=$?
 130    #Verifying the results of cyclictest
 131
 132    if [ "$testType" == "verify" ];then
 133       result=`grep -o '"errors":[^,]*' ${volume}/yardstick.out | awk -F '"' '{print $4}'`
 134
 135       if [ -z "${result}" ]; then
 136          echo "####################################################"
 137          echo ""
 138          echo `grep -o '"data":[^}]*' ${volume}/yardstick.out | awk -F '{' '{print $2}'`
 139          echo ""
 140          echo "####################################################"
 141          cleanup $cyclictest_output
 142       else
 143          echo "Testcase failed"
 144          echo `grep -o '"errors":[^,]*' ${volume}/yardstick.out | awk -F '"' '{print $4}'`
 145          env_clean
 146          host_clean
 147          return 1
 148       fi
 149    else
 150       cleanup $cyclictest_output
 151    fi
 152 }