datastage tips 二:使用crontab+shell定时调度datastage job

　　在使用datastage抽取数据的过程中，经常会遇到要求以准实时（如每隔3分钟同步一次数据）进行数据抽取的需求。这些要求可以使用crontab+shell来实现。如下图所示，此为整个shell调度DS JOB的流程：首先使用dsjob的jobinfo参数获取该JOB的进程号（process_id)和状态值(state).当state异常时，重置该JOB；当state正常时，判断该job是否在运行（即process_id是否为0）。若process_id=0，表示目前该JOB未运行，正常调度该JOB，若process_id>0,表示该JOB正在运行阶段，转置结束处。



代码如下：

#!/bin/sh
. /home/dsadm/.bash_profile

APT_CONFIG_FILE=/opt/IBM/InformationServer/Server/Configurations/default.apt
PROJECT_NAME=$1
JOB_NAME=$2

#job stat flag
status=1
job_process_id=1

cd $DSHOME/bin
#check job status
job_process_id=`./dsjob -jobinfo "$PROJECT_NAME" "$JOB_NAME"|sed -n '10,1p'|sed 's/\(.*\)\([:]\)\([ ]\{1,\}\)\([0-9]\{1,\}\)/\4/g'`
./dsjob -jobinfo $PROJECT_NAME $JOB_NAME
echo "job_process_id=dsjob -jobinfo $PROJECT_NAME $JOB_NAME"
status=`./dsjob -jobinfo $PROJECT_NAME $JOB_NAME|sed -n '1,1p'|sed 's/\(.*\)\([:]\)\([ ]\{1,\}\)\(.*\)/\4/g'|grep FAILED|wc -l`
echo "status=dsjob -jobinfo $PROJECT_NAME $JOB_NAME"
if [ $status -ne 0 ]; then
./dsjob -run -mode RESET $PROJECT_NAME $JOB_NAME
echo "Invoke: dsjob -run -mode RESET $PROJECT_NAME $JOB_NAME"
else
if [ "$job_process_id" -eq 0 ]; then
./dsjob -run -param \$APT_CONFIG_FILE="$APT_CONFIG_FILE" $PROJECT_NAME $JOB_NAME
fi
fi

echo "Finished"

然后，通过crontab进行上述脚本的调度，即可。