程序博客网 > 淘宝二手机可靠吗

Ubuntu12.04搭建hadoop集群版环境

来源：互联网 发布：淘宝二手机可靠吗 编辑：程序博客网 时间：2024/06/03 01:40

今天终于在亚运和二哥的教导下终于把hadoop集群的环境搭建好了，搭建的流程和单机版基本差不多，但是搭建过程中也遇到了许多的困难，例如：ssh授权这块，搭建过程中，出现的问题很多，导致我耽误了好长的时间！现在我把我的搭建过程梳理一下，如果有什么问题，请多多指教！

一. 搭建环境前的准备：

我的本机Ubuntu 12.04 32bit作为maser，就是上篇hadoop单机版环境搭建时用的那台机子，

还在KVM中虚拟了4台机子，分别起名为：

son-1         (ubuntu 12.04 32bit)，

son-2         (ubuntu 12.04 32bit)，

son-3         (centOS 6.2 32bit)，

son-4         (redhat 6.0 32bit).

kvm的搭建详见：http://www.db89.org/post/2012-05-25/kvmxuniji

kvm的桥接设置详见：http://www.db89.org/post/2012-05-27/kvmnetset

Ubuntu12.04搭建hadoop单机版环境详见：http://www.db89.org/post/2012-06-03/hadoopdanjihuanjing

下来修改本机的host文件，

1
sudo gedit /etc/hosts

在后面添加内容为：

1
2
3
4
5
192.168.200.150 master
192.168.200.151 son-1
192.168.200.152 son-2
192.168.200.153 son-3
192.168.200.154 son-4

现在开始我们的打建之旅吧。

 

二 . 为本机(master)和子节点(son..)分别创建hadoop用户和用户组，其实ubuntu和centos下创建用户还多少还是有点区别的。

ubuntu下创建：

先创建hadoop用户组：

1
sudo addgroup hadoop

然后创建hadoop用户：

1
sudo adduser -ingroup hadoop hadoop

centos 和 redhat 下创建：

1
sudo adduser hadoop

注：在centos 和 redhat下直接创建用户就行，会自动生成相关的用户组和相关文件，而ubuntu下直接创建用户，创建的用户没有家目录。

给hadoop用户添加权限，打开/etc/sudoers文件;

1
sudo gedit /etc/sudoers

按回车键后就会打开/etc/sudoers文件了，给hadoop用户赋予root用户同样的权限。

在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL，

1
hadoop  ALL=(ALL:ALL) ALL

 

三. 为本机(master)和子节点(son..)安装JDK环境。

ubuntu下一条命令即可：

1
sudo apt-get install openjdk-6-jre

centos和redhat建议下载源码安装。

详见：http://www.db89.org/post/2012-07-02/centosjava


四. 修改 本机(master)和子节点(son..)机器名

打开/etc/hostname文件;

1
sudo gedit /etc/hostname

分别修改为：master   son-1   son-2   son-3  son-4。这样有利于管理和记忆！


五. 本机(master)和子节点(son..)安装ssh服务

主要为ubuntu安装，cents和redhat系统自带。

ubuntu下：

1
sudo apt-get install ssh openssh-server

这时假设您已经安装好了ssh，您就可以进行第六步了哦~


六. 先为建立ssh无密码登录环境

做这一步之前首先建议所有的机子全部转换为hadoop用户，以防出现权限问题的干扰。

切换的命令为：

1
su - hadoop

ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。

1. 创建ssh-key，，这里我们采用rsa方式;

1
ssh-keygen -t rsa -P""

（注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的）

2. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;

1
2
cd ~/.ssh
cat id_rsa.pub >> authorized_keys

 

七. 为本机mater安装hadoop

我们采用的hadoop版本是：hadoop-0.20.203（http://www.apache.org/dyn/closer.cgi/hadoop/common/  ），因为该版本比较稳定。

1. 假设hadoop-0.20.203.tar.gz在桌面，将它复制到安装目录 /usr/local/下；

1
sudo cp hadoop-0.20.203.0rc1.tar.gz/usr/local/

2. 解压hadoop-0.20.203.tar.gz；

1
2
cd /usr/local
sudo tar -zxf hadoop-0.20.203.0rc1.tar.gz

3. 将解压出的文件夹改名为hadoop;

1
sudo mv hadoop-0.20.203.0 hadoop

4. 将该hadoop文件夹的属主用户设为hadoop，

1
sudo chown -R hadoop:hadoop hadoop

5. 打开hadoop/conf/hadoop-env.sh文件;

1
sudo gedit hadoop/conf/hadoop-env.sh

6. 配置conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）;

1
export JAVA_HOME=/usr/lib/jvm/java-6-openjdk

7. 打开conf/core-site.xml文件;

1
sudo gedit hadoop/conf/core-site.xml

编辑如下：

1
2
3
4
5
6
7
8
9
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>                                                                                                                                                                                             
<!-- Put site-specific property overrides in this file. -->                                                                                                                                                           
<configuration>
<property> 
  <name>fs.default.name</name> 
  <value>hdfs://master:9000</value>  
 </property> 
</configuration>

8. 打开conf/mapred-site.xml文件;

1
sudo gedit hadoop/conf/mapred-site.xml

编辑如下：

1
2
3
4
5
6
7
8
9
<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>                                                                                                                                                                                        
<!-- Put site-specific property overrides in this file. -->                                                                                                                                                                                                                  
    <configuration> 
     <property>  
      <name>mapred.job.tracker</name> 
      <value>master:9001</value>  
     </property> 
    </configuration>

9. 打开conf/hdfs-site.xml文件;

1
sudo gedit hadoop/conf/hdfs-site.xml

编辑如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

10. 打开conf/masters文件，添加作为secondarynamenode的主机名，这里需填写 master 就Ok了。

1
sudo gedit hadoop/conf/masters

11. 打开conf/slaves文件，添加作为slave的主机名，一行一个。

1
sudo gedit hadoop/conf/slaves

这里填成下列的内容 ：

1
2
3
4
son-1
son-2
son-3
son-4

 

八. 要将master机器上的文件一一复制到datanode机器上(son-1，son-2，son-3，son-4都要复制)：（这里以son-1为例子）

1. 公钥的复制

1
scp ~/.ssh/id_rsa.pub hadoop@son-1:~/.ssh/

2. hosts文件的复制

1
scp /etc/hosts hadoop@son-1:/etc/hosts

注：这里如果不能复制，就先将文件复制到/home/hadoop下面，即为：

1
scp /etc/hosts hadoop@son-1:/home/hadoop

再在datanode机器上将其移到相同的路径下面/etc/hosts .

3. hadoop文件夹的复制，其中的配置也就一起复制过来了！

1
scp -r /usr/local/hadoop hadoop@son-1:/usr/local

如果不能移动的话和上面的方法一样！

并且要将所有节点的hadoop的目录的权限进行如下的修改：

1
sudo chown -R hadoop:hadoop hadoop

这些东西都复制完了之后，datanode机器还要将复制过来的公钥追加到收信任列表：

在每个子节点的自己种都要操作。

1
cat ~/.ssh/id_rsa.pub >>  ~/.ssh/authorized_keys

还有很重要的一点，子节点datanode机器要把复制过来的hadoop里面的data1,data2和logs删除掉!

还有要修改centos节点（son-3）和redhat节点（son-4）的java的环境变量地址，

配置centos节点（son-3）和redhat节点（son-4）的/usr/local/hadoop/conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）;这个环境不一，自己配置一下。

这样环境已经基本搭建好了，现在开始测试一下。

 

九. 这样之后基本上就差不多了，

首先进入master的hadoop目录.

1
cd /usr/local/hadoop

首先可以做一下负载平衡，我担心这个加上会有点乱，但是没有这部分不影响运行，想了解的给我留言！

启动datanode和tasktracker:

1
2
3
4
5
bin/start-dfs.sh
                  
bin/hadoop-daemon.sh start datanode
                  
bin/hadoop-daemon.sh start tasktracker

启动全部服务直接一条命令：

1
bin/start-all.sh

查看自己的datanode是否启动.

1
jps

当jps不能正常使用的时候：

1
resource /etc/profile

连接时可以在namenode上查看连接情况:

1
bin/hadoopdfsadmin -report

详见下图：


也可以直接进入网址：

1
master:50070

详见下图：

图1：

图2：

因为readhat的java环境还有点问题所以没有启动起来，其它的正常。

 

切记，上面的大多数操作请使用hadoop用户，要不然中间会出许多关于权限的问题。

到此整个环境的搭建工作就完成了，如果有什么问题，请给我留言，咱们可以互相交流！同时谢谢在我搭建环境中帮助过我的人!

 

From:XiYou.LinuxGroup.10.DuBin





2,

Ubuntu12.04下安装hadoop1.0.4

  首先声明:如果能通过官方文档安装就尽量用官方的方法。

 环境：  linux :ubuntu 12.04

　　　　jdk：1.7.0_17

 jdk安装：

       1，在官网下载最新jdk后，解压

      tar -zxvf jdk....

      2(可省),把jdk放在/usr下

      cp jdk /usr

      3,修改/etc/profile :添加

    

export JAVA_HOME=/usr/jdk1.7.0_17  export JRE_HOME=/usr/jdk1.7.0_17/jreexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATHexport CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

   注意：JAVA_HOME,JRE_HOME应该是你解压后jdk文件的位置

   4，查看是否安装成功

source /etc/profilejava -version

安装成功应该可以看到类似的，否则重新再安装一遍把 

java version "1.7.0_17"Java(TM) SE Runtime Environment (build 1.7.0_17-b02)Java HotSpot(TM) Server VM (build 23.7-b01, mixed mode)

 

2，SSH安装

sudo apt-get install sshsudo apt-get install rsync

 

3，安装hadoop1.0.4

    1，下载，解压，(改名，放置)。

     2，修改  hadoop1.0.4下conf/hadoop-env.sh中的JAVA_HOME （和jdk上面的一样）

     3，在hadoop1.0.4文件夹下，输入bin/hadoop (This will display the usage documentation for thehadoop script.)

   

     1，Local (Standalone) Mode测试 

 在hadoop目录下，最好带sudo。

$ mkdir input$ cp conf/*.xml input$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'$ cat output/*

     2，Pseudo-Distributed Mode

         1，修改配置文件

         　　conf/core-site.xml:

　　 

<configuration>     <property>         <name>fs.default.name</name>         <value>hdfs://localhost:9000</value>     </property></configuration>

    　　　　conf/hdfs-site.xml:

<configuration>     <property>         <name>dfs.replication</name>         <value>1</value>     </property></configuration>

　　　　 conf/mapred-site.xml:

<configuration>     <property>         <name>mapred.job.tracker</name>         <value>localhost:9001</value>     </property></configuration>

       2，设置ssh

    ssh localhost

    ssh localhost这需要密码，如果去掉密码的话就需要命令：

  

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

     3,格式化namenode

   明显在hadoop目录下

bin/hadoop namenode -format

    4，启动hadoop守护进程(the hadoop daemons)

  

bin/start-all.sh

  5,查看是否配置成功

  • NameNode - http://localhost:50070/
  • JobTracker - http://localhost:50030/

　6，关闭守护进程

  

bin/stop-all.sh

 

 



我自己安装时参考来他们的以及书上的，自己正在整理，待续。。。



淘宝二手机可靠吗 淘宝二手机可靠吗
原创粉丝点击
热门IT博客
win10安装软件win10安装软件
烯牛数据 安卓烯牛数据 安卓
用友沙盘模拟软件
java 引用其他文件
孕36周b超正常数据
java游戏编程培训
java swing 实例教程
java开发三年待遇薪资
oa软件有哪些
sql server2008r2 x64
淘宝介入处理流程
用c语言求圆的面积
网络剧发行新方法
淘宝v卡积分规则
js事件有哪些
郑州淘宝加盟美女
淘宝商家贷款入口
耐克乔六淘宝网
复旦在职研究生 知乎
php项目管理系统源码
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 疼老婆爱老婆守则八荣八耻 八股取士 八股 白话八股 党八股 八股辫的编法图解 八股油条 八股绳的编法图解 八股缆绳琵琶头插接视屏教学 八股辫的编法图解步骤 八股手绳 圆形八股绳的编法图解 四股 四股编 7股 七手八脚 七手八脚意思 七脚八手 七手八脚造句 八脚虫 七手八脚打一生肖 八脚 七手八脚是什么生肖 八脚继电器 八只脚的动物 七手八脚的意思是什么 七手八脚收稻谷打一生肖 七手八脚的意思 马夫天下 八脚蜘蛛 八舞夕弦 八舞耶俱矢 古典舞基本手位 鬼八步舞分解动作 鬼步舞八步分解动作 鬼步舞八步 古典舞的八个基本手位 维族舞女子八个手位分解图片 广场八步舞 ktv两胖子跳八步舞 学八步广舞一步一步教 简单的鬼步舞八步

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里