storm-0.9.1 集群安装

来源:互联网 发布:谷歌算法 编辑:程序博客网 时间:2024/06/10 22:14

Storm 升级到 0.9X 之后的 版本相比之前配置简化了很多。netty 的加入 实现 Storm网络传输机制可插拔形式

从 apache storm 官网 选中 storm-0.9.1 的版本下载 ,放入到 192.168.80.100 机器 指定目录下面

解压之后 进入到 conf/ 目录下面,修改 storm-yaml 配置文件    vi  storm.yaml

# 配置zk

storm.zookeeper.servers:     - "192.168.80.100"     - "192.168.80.101"     - "192.168.80.102"

# 设置 storm 集群 的 主节点

nimbus.host: "192.168.80.100"

#webUI 端口的配置

 ui.port: 8088

#netty 相关参数的配置
 storm.messaging.transport: "backtype.storm.messaging.netty.Context" storm.messaging.netty.server_worker_threads: 1 storm.messaging.netty.client_worker_threads: 1 storm.messaging.netty.buffer_size: 5242880 storm.messaging.netty.max_retries: 100 storm.messaging.netty.max_wait_ms: 1000 storm.messaging.netty.min_wait_ms: 100

# slots 配置
 supervisor.slots.ports:          - 6700          - 6701          - 6702          - 6703


以上配置完成之后,将整个storm-0.9.1 文件 copy 到其他机器 然后启动集群即可,这里注意的是由于storm 集群式交给 zk 管理的,所以 各台机器上面必须先安装 zookeeper 集群, 然后启动整个zk 集群!可以这样查看zk 是否启动 ,每台机器上面必须运行QuorumPeerMain 进程,即zk 启动了。

[root@hadoop Downloads]# jps2374 QuorumPeerMain

主节点 192.168.80.100 上面  进入到 storm 的 bin/ 目录下面 执行storm  nimbus


其他机器 进入到各自 bin/ 下面 执行 storm  supervisor  


 整个集群即可运行 ,需要进入web 页面 查看 集群情况可以 在主节点上面 storm的 bin/ 目录下面 执行 storm  ui  然后在浏览器中 输入  192.168.80.100:8088     即可查看集群情况。




0 0