注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

技术行者

时代的车轮在按照摩尔定律滚动。

 
 
 

日志

 
 

Hive的安装和配置(转)  

2011-03-15 13:24:00|  分类: 分布式 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

一、hive版本及下载

1、首先清楚集群上hadoop的版本,hive的版本需要与hadoop的版本一致。目前(2011年6月20日),集群上hadoop的版本是hadoop-0.20.2-CDH3B4,与之对应的hive版本也应该是CDH3B4。同时,也要考虑到测试环境的机器类型,目前的机器类型是5u4。查询hadoop版本的hive的网址为 https://ccp.cloudera.com/display/DOC/Downloading+CDH+Releases

2、由第1步查询的hive版本应该为hive-0.7.0-CDH3B4,因此,应下载该版本的hive。

3、由于测试环境只有admin的帐号下具有写权限,因此需要在admin帐号下安装并配置hive。

二、hive安装

1、在admin帐号下创建文件夹yixia_hive,使用wget命令将hive包下载到该文件夹

2、使用$tar zxvf hive-0.7.0-CDH3B4.tar.gz 命令解压

三、hive配置

安装后的Hive一般已经可以直接使用。为了使Hive正常工作,需要额外的配置。

1、首先拷贝配置文件目录到用户主目录

$ cp -r /home/admin/yixia_hive/hive-0.7.0-CDH3B4 ~/hive-config

2、在~/hive-config配置文件中,复制hive-default.xml为hive-site.xml,修改hive-site.xml中的内容。

3、修改hive.metastore.warehouse.dir(HDFS上的数据目录)为/yixia/hive/warehouse

4、修改hive.exec.scratchdir(HDFS上的临时文件目录)为/yixia/hive/tmp

5、开放以上两目录的权限,$hadoop fs -chmod g+w 目录名

四、环境变量设置

在.bashrc中添加hive相关的环境变量。

#add hive

export HIVE_HOME=/home/admin/yixia_hive/hive-0.7.0-CDH3B4

export PATH=$PATH:$HIVE_HOME/bin:$ORACLE_HOME/bin:$PATH

export HIVE_CONF_DIR=$HOME/hive-config

在.alias中设置命令别名,方便运行。

alias hive='$HIVE_HOME/bin/hive'

五、注意事项

1、安装hive不需要安装derby数据库,即可使用;

2、如果仅是本人使用数据,则不必考虑并发性,不必修改mysql数据库链接,若需要并发使用元数据,则需要修改;

3、数据平台的hive属于淘宝定制的,与搜索的hive不一致,因此安装后讲无法顺利运行。原则是hive的版本要和hadoop的版本一致。

六、使用mysql作为元数据库

hive默认使用的是derby数据库,由于需要并发的需要,因此需要使用mysql作为数据库,保证并发响应。原机器上安装的是mysql的client,需要安装server才能运行。可以通过$/etc/init.d/mysqld status查看是否安装server,或服务是否启动。

1、安装mysql server。cm5上使用的mysql server版本是mysql-server-5.0.77-3.el5,从yum上下载rpm包,进行安装。建议使用命令$sudo yum install mysql-server-5.0.77来安装,可以将依赖的其他包也一起安装。

2、使用sudo权限启动mysql服务 $/etc/init.d/mysqld start

3、使用root帐号在mysql中创建用户与密码,并赋予权限。cm5中默认的用户名和密码均为hadoop。

mysql

mysql> CREATE USER 'hadoop'@'localhost' IDENTIFIED BY 'hadoop';

mysql> GRANT ALL PRIVILEGES ON * .* TO 'hadoop'@'localhost' WITH GRANT OPTION;

mysql> exit

4、设置hive-site.xml文件中的配置。

<property>

<name>hive.metastore.local</name>

<value>true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hadoop</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hadoop</value>

</property>

5、使用mysql作为数据库,需要mysql的jdbc驱动,需要下载该jar包到对应的hive/lib文件夹中。为保证与线上一致,cm5上的为 mysql-connector-java-5.1.11-bin.jar,下载地址为http://download.softagency.net/mysql/Downloads/Connector-J/

  评论这张
 
阅读(297)| 评论(4)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017