用sqoop实现mysql和hive数据互导
来源:互联网 发布:12123但确实无数据返回 编辑:程序博客网 时间:2024/06/03 00:27
在此测试的是伪分布式
hadoop1.2.1
sqoop-1.4.4.bin__hadoop-1.0.0
hive-0.12.0
1、数据准备
1.1建立测试用户sqoop
grant all privileges on *.* to 'sqoop'@'%' identified by 'sqoop' with grant option;注意:这一步不是必须,也可以在mysql的root用户下进行1.2在sqoop用户下,创建sqoop数据库,在sqoop库中建表employee
create database sqoop;use sqoop;create table employee(employee_id int not null primary key,employee_name varchar(30));insert into employee values(101,'zhangsan');insert into employee values(102,'lisi');insert into employee values(103,'wangwu');
此时,在sqoop库中的employee表中已经存在三条记录,可以select查询验证。
2、将Mysql中的sqoop用户下的sqoop库中的employee表中的数据导入hive中
2.1mysql中的employee表导入hive
sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username sqoop --password sqoop --table employee --hive-import -m 1
在HDFS的/user/hive/warehouse目录下查看导入的结果cwjy1202@cwjy1202-Lenovo-IdeaPad-Y471A:~$ hadoop dfs -ls /user/hive/warehouse/employee/Warning: $HADOOP_HOME is deprecated.Found 2 items-rw-r--r-- 1 cwjy1202 supergroup 0 2014-06-04 14:38 /user/hive/warehouse/employee/_SUCCESS-rw-r--r-- 1 cwjy1202 supergroup 33 2014-06-04 14:38 /user/hive/warehouse/employee/part-m-00000cwjy1202@cwjy1202-Lenovo-IdeaPad-Y471A:~$ hadoop dfs -cat /user/hive/warehouse/employee/part-m-00000Warning: $HADOOP_HOME is deprecated.101zhangsan102lisi103wangwu2.2去掉导入语句的参数 -m 1
sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username sqoop --password sqoop --table employee --hive-import显示的结果如下:Found 4 items-rw-r--r-- 1 cwjy1202 supergroup 0 2014-06-04 14:10 /user/hive/warehouse/employee/_SUCCESS-rw-r--r-- 1 cwjy1202 supergroup 13 2014-06-04 14:10 /user/hive/warehouse/employee/part-m-00000-rw-r--r-- 1 cwjy1202 supergroup 9 2014-06-04 14:10 /user/hive/warehouse/employee/part-m-00001-rw-r--r-- 1 cwjy1202 supergroup 11 2014-06-04 14:10 /user/hive/warehouse/employee/part-m-00002三条记录分别存在part-m-00000、part-m-00001和part-m-00002中
3、hive的数据导入mysql
3.1把mysql中的employee表清空
在linux终端输入:
mysql -usqoop -p回车密码truncate table sqoop.employee;mysql> select * from sqoop.employee;Empty set (0.00 sec)删除成功!!!3.2从hive到mysql
在linux终端输入:
sqoop export --connect jdbc:mysql://localhost:3306/sqoop -username sqoop -password sqoop --table employee --export-dir /user/hive/warehouse/employee --input-fields-terminated-by '\001'说明:jdbc:mysql://localhost:3306/sqoop 3306是mysql的端口;localhost是mysql的安装ip地址,运行时根据自己的情况而定;sqoop是mysql中的数据库。
hive中字段的默认分割符为'\001'
运行过程的最后显示Export 3 records如下:
14/06/04 14:49:45 INFO mapreduce.ExportJobBase: Transferred 760 bytes in 11.8562 seconds (64.1017 bytes/sec)14/06/04 14:49:45 INFO mapreduce.ExportJobBase: Exported 3 records.
查询mysql中的employee验证数据是否存在:mysql> select * from sqoop.employee;+-------------+---------------+| employee_id | employee_name |+-------------+---------------+| 101 | zhangsan || 102 | lisi || 103 | wangwu |+-------------+---------------+3 rows in set (0.00 sec)导入mysql成功!!!
额外说明:
因为mysql中的employee表的结构已经确定,employee_id为primary key,所以多次从hive导入相同的数据,只会第一成功。
操作如下,再一次在linux终端输入:
sqoop export --connect jdbc:mysql://localhost:3306/sqoop -username sqoop -password sqoop --table employee --export-dir /user/hive/warehouse/employee --input-fields-terminated-by '\001'运行过程显示:
14/06/04 15:14:34 INFO mapred.JobClient: Task Id : attempt_201406041140_0012_m_000001_1, Status : <span style="color:#FF0000;"><strong>FAILEDTask</strong></span> attempt_201406041140_0012_m_000001_1 failed to report status for 600 seconds. Killing!14/06/04 15:14:36 INFO mapred.JobClient: map 25% reduce 0%14/06/04 15:14:37 INFO mapred.JobClient: Task Id : attempt_201406041140_0012_m_000002_1, Status : <strong style="background-color: rgb(255, 0, 0);">FAILED<span style="color:#FF0000;background-color: rgb(255, 255, 255);">Task at</span></strong>tempt_201406041140_0012_m_000002_1 failed to report status for 600 seconds. Killing!
0 0
- 用sqoop实现mysql和hive数据互导
- sqoop 实现mysql 到hive数据抽取
- SQOOP——Hive与MySQL数据互导
- 利用sqoop将hive和mysql数据互导简单实验
- 【数据平台】sqoop支持hive和mysql互导的基本语句格式
- linux中sqoop部署以及实现mysql数据导入hive
- linux中sqoop实现hive数据导入到mysql
- sqoop:mysql和Hbase/Hive/Hdfs之间相互导入数据
- 使用Sqoop从MySQL导入数据到Hive和HBase
- 用Sqoop将mysql中的表和数据导入到Hive中
- 用Sqoop从从MySQL导入数据到Hive和HBase
- sqoop导oracle.mysql数据到hdfs hive
- 使用sqoop做Mysql与Hive数据互倒操作
- python脚本 用sqoop把mysql数据导入hive
- 利用Sqoop实现MySQL与HDFS数据互导
- sqoop hive mysql oracle 数据导入
- sqoop 导入mysql数据到hive
- sqoop同步mysql数据到hive中
- OCP 1Z0 051 QUESTION NO: 47
- C++ 长方体继承自矩形
- MFC----窗口的重绘
- Vold工作流程分析学习
- 微信网页支持
- 用sqoop实现mysql和hive数据互导
- win7 java 环境配置
- 利用Session完成用户的登录和注销
- 媒体层图形技术之AssetsLibrary 学习笔记
- 制作杂志级图表的第三步:突破excel的图表类型
- Android笔记之:App自动化之使用Ant编译项目多渠道打包的使用详解
- Android UI:看看Google官方自定义带旋转动画的ImageView-----RotateImageView怎么写(附 图片淡入淡出效果)
- 代码修改Shader的颜色
- Reverse Nodes in k-Group