Hadoop的内存配置
来源:互联网 发布:西方建筑欣赏知乎 编辑:程序博客网 时间:2024/06/02 14:20
Hadoop的内存配置有两种方法:利用手动安装hadoop的帮助脚本;手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:
用wget命令从hortonworks上下载脚本
python hdp-configuration-utils.py <options>
wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_manual_install_rpm_helper_files-2.1.1.385.tar.gz
解压文件,运行hdp-configuration-utils.py脚本,执行以下命令
参数主要有以下几个:
Option
Description
-c CORES
The number of cores on each host.
-m MEMORY
The amount of memory on each host in GB.
-d DISKS
Thenumber of disks on each host.
-k HBASE
"True"if HBase is installed, "False" if not.
其中:Core的数量可以通过nproc命令计算;内存大小可以通过free –m命令来计算;磁盘的数量可以同过lsblk –s或sudo fdisk –l命令来查看。
python hdp-configuration-utils.py -c 24 -m 16 -d 8 -k False
计算好每个选项需要的值,运行命令。例如:
将返回如下结果:
Using cores=24 memory=16GB disks=8 hbase=False
Profile: cores=24 memory=14336MB reserved=2GB usableMem=14GB disks=8
Num Container=14
Container Ram=1024MB
Used Ram=14GB
Unused Ram=2GB
yarn.scheduler.minimum-allocation-mb=1024
yarn.scheduler.maximum-allocation-mb=14336
yarn.nodemanager.resource.memory-mb=14336
mapreduce.map.memory.mb=1024
mapreduce.map.java.opts=-Xmx768m
mapreduce.reduce.memory.mb=2048
mapreduce.reduce.java.opts=-Xmx1536m
yarn.app.mapreduce.am.resource.mb=1024
yarn.app.mapreduce.am.command-opts=-Xmx768m
mapreduce.task.io.sort.mb=384
tez.am.resource.memory.mb=2048
tez.am.java.opts=-Xmx1536m
hive.tez.container.size=1024
hive.tez.java.opts=-Xmx768m
hive.auto.convert.join.noconditionaltask.size=134217000
最后可以参考以上结果来配置mapred-site.xml和yarn-site.xml文件中参数的值。
Ubuntu 13.04上搭建Hadoop环境http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm
更多Hadoop相关信息见Hadoop 专题页面http://www.linuxidc.com/topicnews.aspx?tid=13
本文永久更新链接地址:http://www.linuxidc.com/Linux/2014-09/106520.htm
- Hadoop的内存配置
- Hadoop的内存配置
- hadoop的内存heap大小的配置参数
- hadoop yarn的内存和cpu参数配置
- Hadoop YARN中内存配置
- hadoop集群部署,内存,存储配置
- Hadoop Yarn内存使用优化配置
- Hadoop Yarn内存使用优化配置
- Hadoop 配置及hadoop HA 的配置
- Hadoop集群的配置
- Hadoop的安装配置
- hadoop的启动配置
- hadoop的环境配置
- hadoop的thriftserver配置
- hadoop的配置选项
- Hadoop的基本配置
- hadoop的linux配置
- Hadoop的安装配置
- linux服务器病毒
- myeclipse中tomcat 报异常总结
- 人机交互
- Base64以及Md5的使用
- Handlebars基本使用
- Hadoop的内存配置
- WIFI 探针原理
- 并查集(种类并查集)POJ2492A Bug's Life解题报告
- [进化算法] 进化算法之标准进化规划(EP)
- 第四周-项目3 - 单链表应用(2)拼接
- npm安装模块失败的重装方法
- 可变参数的宏定义
- nfs服务器的安装与配置
- hdu1042N!(大数)