hive指南
来源:互联网 发布:淘宝在哪里看追加评价 编辑:程序博客网 时间:2024/06/11 09:53
1.Hive
1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据,同时可以查询hadoop中的数据。
本质上讲,hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。
hive有一套映射工具,可以把SQL转换为MapReduce中的job,可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。
这套映射工具称之为metastore,一般存放在mysql中
1.2 hive在hdfs中的默认位置是/user/hive/warehouse,是由配置文件hive-conf.xml中属性hive.metastore.warehouse.dir决定的。
2.hive的安装
(1)解压缩、重命名、设置环境变量
(2)在目录$HIVE_HOME/conf/下,执行命令mv hive-default.xml.template hive-site.xml重命名
在目录$HIVE_HOME/conf/下,执行命令mv hive-env.sh.template hive-env.sh重命名
(3)修改hadoop的配置文件hadoop-env.sh,修改内容如下:
export HADOOP_CLASSPATH=.:$CLASSPATH:$HADOOP_CLASSPATH:$HADOOP_HOME/bin
(4)在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,增加以下内容:
export JAVA_HOME=/usr/local/jdk
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop
(5)试一试
执行hive进入shellshow databases;use default;show tables;create table t1(name string);hadoop0:50070user/hive/warehoursederby.logderby不能由两个客户端打开,改用mysql
3.安装mysql
(1)删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx --nodeps
强制删除--nodeps
执行命令rpm -qa |grep mysql 检查是否删除干净
(2)执行命令 rpm -i mysql-server-******** 安装mysql服务端
(3)启动mysql 服务端,执行命令 mysqld_safe &
(4)执行命令 rpm -i mysql-client-******** 安装mysql客户端
(5)执行命令mysql_secure_installation设置root用户密码
mysql -uroot -padmin
4. 使用mysql作为hive的metastore
(1)把mysql的jdbc驱动放置到hive的lib目录下
(2)修改hive-site.xml文件,修改内容如下:
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>root</value></property>
grant all on hive.* to 'root'@'%' identified by 'admin'
flush privilieges
记得吧mysql connection的lib复制到hive的lib下
5. 内部表
CREATE TABLE t1(id int);
LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t1;
hadoop fs -put id /hive/t1/id2
CREATE TABLE t2(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
6. 分区表
CREATE TABLE t3(id int) PARTITIONED BY (day int);
LOAD DATA LOCAL INPATH '/root/id' INTO TABLE t3 PARTITION (day=22);
select * from t3 where name=22;
常查询的字段作为分区字段
7. 桶表
也是对数据的划分
create table t4(id int) clustered by(id) into 4 buckets;
默认不使用桶,启用
set hive.enforce.bucketing = true;
insert into table t4 select id from t3;
hash后放入四个桶中,相同值hash结果相同,两个表连接?
8. 外部表
内部表也叫管理表
create external table t5(id int) location '/external';
直接查询,不用load,因为已经指定了数据的路径
drop table t5
只删除表连接,类似于快捷方式
视图
把复杂的命令简单化
select * from t1 limit 5
sort by
多个reduce
order by
一个reduce执行
distribute by
分区执行
cluster by
两个操作和在一起
distinct
去重
describe function pi
MySql中hive库的表
Tables_in_hive |+--------------------+| BUCKETING_COLS || CDS || COLUMNS_V2 || DATABASE_PARAMS || DBS || PARTITIONS || PARTITION_KEYS || PARTITION_KEY_VALS || PARTITION_PARAMS || SDS || SD_PARAMS || SEQUENCE_TABLE || SERDES || SERDE_PARAMS || SORT_COLS || TABLE_PARAMS || TBLS
0 0
- hive指南
- hive指南
- 【Hive】Hive编程指南
- hive编程指南--hive基础知识
- Hive入门指南
- 读hive编程指南
- Hive-UDAF开发指南
- Hive-UDAF开发指南
- Hive编程指南
- Hive入门指南
- Hive入门指南
- Hive UDTF开发指南
- Hive入门指南
- Hive UDF开发指南
- Hive编程指南 读书笔记
- <<Hive编程指南>>读书笔记
- hive搭建指南
- hive安装指南
- Android状态栏(一):StatusBar的浮动显示与隐藏
- 你不知道的5个JVM命令行标志
- Native Apps, Web Apps, and Hybrid Apps
- CCARRAY_FOREACH
- PAT Advanced Level 1075. PAT Judge (25)
- hive指南
- 淘宝长仁:JVM性能指标的理论极限和衡量方法(TaobaoJVM)
- 12款优秀的开源报表工具介绍
- hdu2836之树状数组
- 颜色空间
- pig指南
- Combinations -- LeetCode
- 程序的内存分配:栈区(stack)堆区(heap)。。。(转载)
- Ubuntu下NodeJs的安装