hue3.9 集成 hive1.1.0

hue3.9 中集成 hive1.1.0数据仓库, 主要包括hive端的配置, 和hue端的配置, 和hadoop端的配置三部分.

1. hive端配置(mysql 做 metastore)

a). 删除掉 hadoop mapreduce lib目录下的jline jar包, 将hive lib库下的jline jar包拷贝过去.

b). hive lib目录下添加mysql的驱动包.

c). mysql端, 新建一个数据库如hive, 字符集编码务必设置为latin1. 最好新建一个hive用户, 专门用于该数据仓库的操作/管理, 我这里在这一步因为实验缘故图省事,直接使用root账户.

d). $HIVE_HOME/conf下, 没有hive-site.xml, 新建一个, 加入如下配置:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>驱动名</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>用户名</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>xxxxxx</value>
<description>密码</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
<description>hive数据仓库在hdfs上的地址</description>
</property>
<property>
<name>hive.metastore.uris</name>
<value>thrift://localhost:9083</value>
<description>运行hive得主机地址及端口</description>
</property>
</configuration>


2. hue端配置

a). 修改位于$HUE_HOME/desktop/conf下的hue.ini文件, 修改如下2项.

[[[hive]]]
582 # The name of the snippet.
583 name=Hive
584 # The backend connection to use to communicate with the server.
585 interface=hiveserver2

3. hadoop端配置

注意, 因hive仓库的数据本身是存储在hdfs上, 如果hdfs的对外访问接口的权限被禁后, 将会导致hive数据无法存储在hdfs上. 这时可以在hadoop侧, 在hdfs-site.xml里添加如下权限取消语句.
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

测试是否集成成功

以上步骤做完后, 就可以检验, 是否可以在hue上操作hive数据了.

1. 初始化hive metastore元数据库:
   ./hive --service metastore

2. 因hue与hive采用hiveserver2 Thrift协议通信, 打开hiveserver2服务
   nohup ./hiveserver2 start &

3. 打开hive REPL, $HIVE_HOME/hive, 建表及导入本地数据.
   hive> create table hive_tbl_test(name string);
hive> load data local inpath '/Users/david/cloudera/cdh5.7/hive/name.txt' overwrite into table hive_tbl_test;


4. 启动hue, $HUE_HOME/bin/hue runserver

5. 浏览器输入”http://localhost:8000“, 进入hue WEB界面, 新建一”hive editor”, 页面加载完毕即可以看到默认数据库default和刚才新建的表hive_tbl_test, 在查询窗口即可检索到刚才插入的数据.