搭建Hadoop环境前的准备工作

基本环境要求：

操作系统：使用CentOS6.x版本（推荐使用centos6.6）。

基本软件环境要求：1）yun 与 rpm 

    2）Python 2.6.*

    3）gcc

JDK要求：Oracle JDK 1.8 64-bit

（一）配置静态IP

Linux下静态IP的配置

（二）基本可用性检查

（1）使用ulimit -n检查同一时间可开启的文件数是否为65535而不是默认的1024如若不是执行以下步骤配置ulimit

1）使用vi 命令编辑 /etc/security/limits.conf 在其中添加以下四行记录
*  soft    nofile 128000
*  hard    nofile 128000
*  soft    nproc 128000
*  hard    nproc 128000

2）使用vi命令编辑  /etc/security/limits.d/90-nproc.conf 将其中的1024修改为128000

3）执行 ulimit -SHn 128000 注意大小写，在Linux的shell命令中大小写字母有着不同的意义

（2）內存設置 检查/proc/sys/vm/overcommit_memory的配置值，如果为2，建议修改为0否则可能会出现机器明明还有大量可用内存却无法申请的情况

   调整overcommit_ratio的阀值到90% echo "90" >/proc/sys/kernel/hung_task_timeout_secs 

关于overcommit_memory 与overcommit_ratio的具体配置请查看：Linux的overcommit配置

（3）关闭swap分区swap分区是linux系统中的虚拟内存分区，swap分区的作用是当linux中系统内存用完后，把磁盘空间当作系统内存来使用，虽然swap分区可作为虚拟内存来使用，但是却比物理内存要慢得多，所以为了hadoop环境的稳定性，我们选择将其关闭

1）使用vi  命令打开etc/sysctl.conf 文档 添加一条配置 ： vm.swappiness=1 保存退出。

2）使用sysctl -p 与sysctl -a |grepswapiness 来判断配置是否生效

（4）为了发现系统磁盘问题，我们将超过三十秒未响应的磁盘打印出来echo 30>/proc/sys/kernel/hung_task_timeout_secs

（5）为了保证多台服务器之间的时钟时间同步，建议配置ntp服务， 关于ntp服务：linux ntp时间同步

（6）检查语言环境是否为UTF-8 ，如果不是的话配置 环境变量 export LANG=zh_CN.UTF-8

(三)环境准备

（1）ssh无密码登录

1）使用ssk-keygen生成一个私钥并保存至~/.ssh目录

2）将私钥添加到公钥文件中cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

3）修改.ssh的读写权限为只有所有者有读写和执行的权限 chmod 700 ~/.ssh

修改.ssh/authorized_keys的读写权限为只有所有者有读和写的权限 chmod 600 ~/.ssh/authorized_keys

关于linux文件权限的查看与修改： linux文件权限查看及修改-chmod ------入门的一些常识

（2）修改机器名和hosts

1）修改主机名 hostname ydbmaster （此处主机名为按需自定义）。

2）使用vi命令 修改etc/sysconfig/network文档

3）使用vi命令修改 etc/hosts，在其中添加一行 ip地址，其后是主机名。

（3）关闭防火墙

1） ipdables -P INPUT ACCEPT

2） ipdables -P FORWORD ACCEPT

3） ipdables -P OUTPUT ACCEPT

4） ipdables -F

5）chkconfig iptables off

6)/etc/init.d/iptables stop

7）setenforce 0

（4）禁止packagekit离线更新服务vi etc/yum/pluginconf.d/refresh-packagekit.conf将enable设置为0

（5）设置umask  umask 0022echo umask 0022>>/etc/profile

关于umask：linux umask使用详解