src/ceph/qa/workunits/hadoop/terasort.sh

   1 #!/bin/bash
   2
   3 set -e
   4 set -x
   5
   6 INPUT=/terasort-input
   7 OUTPUT=/terasort-output
   8 REPORT=/tersort-report
   9
  10 num_records=100000
  11 [ ! -z $NUM_RECORDS ] && num_records=$NUM_RECORDS
  12
  13 # bail if $TESTDIR is not set as this test will fail in that scenario
  14 [ -z $TESTDIR ] && { echo "\$TESTDIR needs to be set, but is not. Exiting."; exit 1; }
  15
  16 # if HADOOP_PREFIX is not set, use default
  17 [ -z $HADOOP_PREFIX ] && { HADOOP_PREFIX=$TESTDIR/hadoop; }
  18
  19 # Nuke hadoop directories
  20 $HADOOP_PREFIX/bin/hadoop fs -rm -r $INPUT $OUTPUT $REPORT || true
  21
  22 # Generate terasort data
  23 #
  24 #-Ddfs.blocksize=512M \
  25 #-Dio.file.buffer.size=131072 \
  26 #-Dmapreduce.map.java.opts=-Xmx1536m \
  27 #-Dmapreduce.map.memory.mb=2048 \
  28 #-Dmapreduce.task.io.sort.mb=256 \
  29 #-Dyarn.app.mapreduce.am.resource.mb=1024 \
  30 #-Dmapred.map.tasks=64 \
  31 $HADOOP_PREFIX/bin/hadoop jar \
  32   $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar \
  33   teragen \
  34   -Dmapred.map.tasks=9 \
  35   $num_records \
  36   $INPUT
  37
  38 # Run the sort job
  39 #
  40 #-Ddfs.blocksize=512M \
  41 #-Dio.file.buffer.size=131072 \
  42 #-Dmapreduce.map.java.opts=-Xmx1536m \
  43 #-Dmapreduce.map.memory.mb=2048 \
  44 #-Dmapreduce.map.output.compress=true \
  45 #-Dmapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.Lz4Codec \
  46 #-Dmapreduce.reduce.java.opts=-Xmx1536m \
  47 #-Dmapreduce.reduce.memory.mb=2048 \
  48 #-Dmapreduce.task.io.sort.factor=100 \
  49 #-Dmapreduce.task.io.sort.mb=768 \
  50 #-Dyarn.app.mapreduce.am.resource.mb=1024 \
  51 #-Dmapred.reduce.tasks=100 \
  52 #-Dmapreduce.terasort.output.replication=1 \
  53 $HADOOP_PREFIX/bin/hadoop jar \
  54   $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar \
  55   terasort \
  56   -Dmapred.reduce.tasks=10 \
  57   $INPUT $OUTPUT
  58
  59 # Validate the sorted data
  60 #
  61 #-Ddfs.blocksize=512M \
  62 #-Dio.file.buffer.size=131072 \
  63 #-Dmapreduce.map.java.opts=-Xmx1536m \
  64 #-Dmapreduce.map.memory.mb=2048 \
  65 #-Dmapreduce.reduce.java.opts=-Xmx1536m \
  66 #-Dmapreduce.reduce.memory.mb=2048 \
  67 #-Dmapreduce.task.io.sort.mb=256 \
  68 #-Dyarn.app.mapreduce.am.resource.mb=1024 \
  69 #-Dmapred.reduce.tasks=1 \
  70 $HADOOP_PREFIX/bin/hadoop jar \
  71   $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar \
  72   teravalidate \
  73   -Dmapred.reduce.tasks=1 \
  74   $OUTPUT $REPORT
  75
  76 exit 0