重写HashPartitioner类
来源:互联网 发布:一张图入门python 编辑:程序博客网 时间:2024/06/10 04:57
Hadoop中,Map的结果会通过partition分发到Reducer上hadoop的reduce中。这个partition默认为HashPartitioner。
public class HashPartitioner<K, V> extends Partitioner<K, V> { public int getPartition(K key, V value, int numReduceTasks) { return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; }}
可以看到,(key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;将key均匀分布在ReduceTasks上,举例如果Key为Text的话,Text的hashcode方法跟String的基本一致,都是采用的Horner公式计算,得到一个int,string太大的话这个int值可能会溢出变成负数,所以与上Integer.MAX_VALUE(即0111111111111111),然后再对reduce个数取余,这样就可以让key均匀分布在reduce上。可以通过重写这个类达到一个变换map key的效果,可以自定义指定如何进行分发。
比如:
public static class NewPartitioner extends HashPartitioner<Text, IntWritable> { public int getPartition(Text key, IntWritable value, int numReduceTasks) { String term = new String(); term = key.toString().split("#")[0]; // <term#docid>=>term //还是调用父类的getPartition方法,但是计算使用单词,而非单词#词频,更改了key //return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks; return super.getPartition(new Text(term), value, numReduceTasks); } }
0 0
- 重写HashPartitioner类
- Spark分区器HashPartitioner
- MapReduce 默认分区HashPartitioner
- Hadoop mapreduce自定义分区HashPartitioner
- 拖动类(重写版)
- SqlHelp类的重写
- url重写类介绍
- MFC 重写Button类
- HttpModule类(URL重写)
- 重写Calendar类
- 重写socket类
- 重写的HibernateSupport类
- String类的重写
- String类的重写
- mfc activex类重写
- 重写字符串类吧
- 重写String类
- 重写istream_iterator类
- [华为机试练习题]3.分解字符串
- [数字图像处理]简单的几何学图像变换与图像配准
- Java虚拟机体系结构
- 项目杂记三
- html页面中,如何防止文本过长(让文本自动换行)
- 重写HashPartitioner类
- AS2.0拖动,拖选,垂直竖直移动,小解
- SAT阅读高分指南(6):社科类阅读-4
- opencv cvPyrDown cvPyrUp 缩放一半尺寸
- 微信内部浏览器私有接口 - WeixinJSBridge介绍
- Mysql导出表结构及表数据 mysqldump用法
- JVM 、JDK(c/c++)源代码下载
- c++程序循环的简单方法
- 编写函数strdel,参量是字符串string, 和字符character。删除string中第一次出现的character,最后返回string。