注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

技术行者

时代的车轮在按照摩尔定律滚动。

 
 
 

日志

 
 

shell程序例子  

2011-03-21 15:09:00|  分类: 技术学习心得 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

一个关于数据对比的自动脚本,里面的run.sh是一个对比脚本,config.xml是一个配置文件,将程序由hadoop执行完成。(用于记录)

#!/bin/bash

# function:

# Using method:

# @author jingyuan <xhb7636553@gmail.com>

#input file dir

 

con="/home/admin/xu/tools/compar/config.xml"

tools="/home/admin/xu/tools/compar/run.sh"

file1="/home/admin/xu/vertical/$1"

file2="/home/admin/xu/vertical2/$1"

if (test ! -e $file1);then

echo "$1 not exist!!"

exit 2

fi

if (test ! -e $file2);then

echo "$1 not exist!!"

exit 2

fi

#get output dir in hadoop

getconfig(){

xu_out=`grep 'out_path' ../compar/config.xml`

xu_in=`grep 'inputpaths' ../compar/config.xml`

output=`echo "$xu_out"|awk -F '\"' '{print $2}'`

input=`echo "$xu_in"|awk -F '\"' '{print $2}'`

new=`echo "$input"|awk -F ';' '{print $1}'`

old=`echo "$input"|awk -F ';' '{print $2}'`

}

getconfig

echo "-------------read config.xml--------------"

echo $new

echo $old

echo $output

#put data to hadoop

echo "-------------put data---------------------"

hadoop fs -rmr /app/test/new

hadoop fs -mkdir /app/test/new

echo "create /app/test/new"

hadoop fs -rmr /app/test/old

hadoop fs -mkdir /app/test/old

echo "create /app/test/new"

hadoop fs -put $file1 /app/test/new

hadoop fs -put $file2 /app/test/old

if (test -n $output);then

#hadoop fs -rmr $output

fi

echo "-------------count docs--------------"

#the count of doc

echo "the the sum of doc:"

cat $file1 |grep -c '^<doc>'

cat $file2 |grep -c '^<doc>'

echo "-------------comparing-------------------"

hadoop fs -rmr $output

sh $tools;

echo "-------------result:$output----------------------"

hadoop fs -ls $output/

  评论这张
 
阅读(356)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017