Spark on Yarn+Hbase环境搭建指南(五)HBase安装
来源:互联网 发布:淘宝ipad货源 编辑:程序博客网 时间:2024/05/19 22:26
一、说明
HBase安装时可以选择独立安装ZooKeeper也可选择使用内置的Zookeeper,本文选择使用内置ZooKeeper。
二、准备
1) 下载
从如下网址选择一个镜像网站。
http://www.apache.org/dyn/closer.cgi/hbase/
选择stable目录。本文下载的为hbase-1.0.1.1-bin.tar.gz文件
2) 解压
解压至~/source目录
$ tar xzvf hbase-1.0.1.1-bin.tar.gz
三、安装
1)设置环境变量
编辑~/.bash_profile文件
增加export HBASE_HOME=~/source/hbase-1.0.1.1
并将:$ HBASE_HOME加入PATH后
执行此文件。
2 ) 修改hbase-env.sh
增加如下内容:
export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
exportHBASE_CLASSPATH=~/source/hadoop-2.6.0/etc/hadoop/
exportHBASE_MANAGES_ZK=true #表示由HBase来管理Zookeeper的启动与关闭
3) 修改hbase-site.xml
配置如下:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed
</name>
<value>true
</value>
</property>
<property>
<name>hbase.zookeeper.quorum
</name>
<value>master,datanode1,datanode2
</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/seraph/zookeeper</value>
</property>
</configuration>
说明:
hbase.rootdir:
用于指向一个具有高度可用性的HDFS文件系统,其中ip及端口号应与Hadoop的core-site.xml中所配置的fs.defaultFS一致。
hbase.cluster.distributed
:
true
表示为分布式。
hbase.zookeeper.quorum
:
Comma separated list of servers in theZooKeeper ensemble (This config. should have been namedhbase.zookeeper.ensemble). For example,"host1.mydomain.com,host2.mydomain.com,host3.mydomain.com". Bydefault this is set to localhost for local and pseudo-distributed modes ofoperation. For a fully-distributed setup, this should be set to a full list ofZooKeeper ensemble servers. If HBASE_MANAGES_ZK is set in hbase-env.sh this isthe list of servers which hbase will start/stop ZooKeeper on as part of clusterstart/stop. Client-side, we will take this list of ensemble members and put ittogether with the hbase.zookeeper.clientPort config. and pass it into zookeeperconstructor as the connectString parameter.
hbase.zookeeper.property.dataDir:
Property from ZooKeeper’s configzoo.cfg. The directory where the snapshot is stored.
4 ) 修改regionservers
该文件指明将要允许RegionServer的节点。配置如下:
Datanode1
Datanode2
5) 同步
将HBASE文件夹拷贝至从机。
四、测试
Ø 启动Hbase:
./bin/start-hbase.sh
Ø 进入master:16010网址,查看Region Servers的状态。
Ø 进入hbase shell进行简单的表操作:
$ ./bin/hbase shell
hbase(main):001:0>
查看状态:
hbase(main):001:0>status
创建表:
hbase(main):001:0> create'test', 'cf'
0 row(s) in 0.4170 seconds
=> Hbase::Table - test
查看表的信息:
hbase(main):002:0> list 'test'
TABLE
test
1 row(s) in 0.0180 seconds
=> ["test"]
插入数据:
hbase(main):003:0> put 'test','row1', 'cf:a', 'value1'
0 row(s) in 0.0850 seconds
hbase(main):004:0> put 'test','row2', 'cf:b', 'value2'
0 row(s) in 0.0110 seconds
hbase(main):005:0> put 'test','row3', 'cf:c', 'value3'
0 row(s) in 0.0100 seconds
浏览表的数据
hbase(main):006:0> scan 'test'
ROW COLUMN+CELL
row1 column=cf:a, timestamp=1421762485768, value=value1
row2 column=cf:b,timestamp=1421762491785, value=value2
row3 column=cf:c, timestamp=1421762496210, value=value3
3 row(s) in 0.0230 seconds
查看某一行数据
hbase(main):007:0> get 'test','row1'
COLUMN CELL
cf:a timestamp=1421762485768, value=value1
1 row(s) in 0.0350 seconds
禁止/启用表
hbase(main):008:0> disable'test'
0 row(s) in 1.1820 seconds
hbase(main):009:0> enable'test'
0 row(s) in 0.1770 seconds
删除表
hbase(main):011:0> drop 'test'
0 row(s) in 0.1370 seconds
退出
exit
关闭Hbase
./bin/stop-hbase.sh
- Spark on Yarn+Hbase环境搭建指南(五)HBase安装
- Spark on Yarn+Hbase环境搭建指南(一)准备工作
- Spark on Yarn+Hbase环境搭建指南(三)Spark安装
- Spark on Yarn+Hbase环境搭建指南(二)Hadoop安装
- Spark on Yarn+Hbase环境搭建指南(四)NTP服务设置
- Spark+hbase环境搭建
- Spark On Yarn环境搭建
- spark on yarn模式下扫描带有kerberos的hbase
- Spark on Yarn 环境搭建(CDH5.3)
- 012-01Spark On YARN 环境搭建
- spark-sql on yarn环境搭建
- Spark On Yarn集群环境搭建
- hadoop、zookeeper、hbase、spark集群环境搭建
- hadoop、zookeeper、hbase、spark集群环境搭建
- hadoop、zookeeper、hbase、spark集群环境搭建
- Spark On Hbase
- hadoop+hbase on mesos环境搭建
- spark on yarn 安装
- iOS中正确的截屏姿势
- erl_线性结构-折半查找
- N宫格之横竖斜的和都相等
- Android webview 使用自定义自体
- 关于Ubuntu下移植数据库
- Spark on Yarn+Hbase环境搭建指南(五)HBase安装
- vc6.0快捷键汇总
- MAC上反编译android apk---apktool, dex2jar, jd-jui安装使用(含手动签名)
- c语言之建立单链表
- Rendering with Vertex Lighting
- Linux学习笔记----CentOS 在什么情况下,进入图形界面安装模式 ??
- BST
- 如何用 OneAPM 优化你的 Node.js 应用?
- 三角形 1249 (打表+数学)