大数据学习笔记<二>

来源:互联网 发布:dt大数据梦工厂 编辑:程序博客网 时间:2024/06/03 01:08

问题:hbase删除数据


当前对问题的分析:

hbase依赖zookeeper存储元数据

当hbase压力过大导致hbase重启,重启时与zookeeper机器的网络状况不稳定导致zookeeper数据版本号与hbase数据版本号不一致,导致hbase删除数据。

当前处理办法:

集群监控,td-agent拉数据的时候统计数据大小,重新设计hbase的rowkey,将统计出来的信息单独存储到别的数据库,将hbase替换为hive。

0 0
原创粉丝点击