研读《基于flume网络安全可视化系统》----小结
来源:互联网 发布:交换机网络风暴 编辑:程序博客网 时间:2024/06/11 06:32
1.哪些公司在使用该框架呢?
Facebook ,美团等公司已经使用了flume为框架收集日志的系统,可以提供给Hadoop平台离线的数据,也可以为storm和spark提供实时的数据。
2.成熟的flume有哪些特点呢?
必须具备可靠性,可用性,可扩展性这几个特点。
可用性体现在flume提供了自下而上的传输机制,实时数据分层管理,分层传输,用户可以自行添加所需要的节点,并且在每一层都具有简单的数据分析过滤功能。
可靠性体现在当某个节点出现故障时,数据能够传输到相邻的节点上,不会丢失,具有高度的冗余性。
可扩展性体现在代理节点,数据收集节点,数据存储节点都具备水平扩展的功能,并且都由master统一的管理,方便系统的监控和维护。
3系统的实现方式
flume是一个分布式的海量日志聚合系统,支持数据发送方,数据接收方烦人数据定制,同时具有数据的预处理能力,如图所示,该图为flume的工作逻辑图,
agent A B C D E F 等,分别受到master的控制,当每个agent传输的数据经过collector进行收集,传输到数据库或者分布式文件系统(在这里使用了Hadoop的分布式文件系统)来存储数据。
0 0
- 研读《基于flume网络安全可视化系统》----小结
- 研读《基于Hadoop的海量业务数据分析平台的设计与实现》----flume一章学习小结
- 研读《基于Hadoop的海量业务数据分析平台的设计与实现》----flume的数据收集系统的设计
- 详细研读《嵌入式系统设计师教程》小结
- 网络安全可视化系列谈:西电捷通基于安全协议分析的可视化
- FLUME 小结
- 网络安全实验-入侵检测-基于网络入侵检测系统
- 可视化网络安全技术“看透”黑客
- 网络安全相关技术小结
- 基于Flume的美团日志收集系统
- 基于Flume的美团日志收集系统
- 基于flume+kafka+storm日志收集系统搭建
- 日志系统之基于flume收集docker容器日志
- 日志系统之基于flume收集docker容器日志
- 基于Heka+Flume+Kafka+ELK的日志系统
- 基于Flume的美团日志收集系统
- 基于Flume的美团日志收集系统
- 研读会员卡系统的总结
- 设计师最常忽略的UI页面状态:空白状态
- 百度谷歌离线地图解决方案(离线地图下载)
- 【Shiro】Apache Shiro架构之实际运用(整合到Spring中)
- jenkins安装配置
- codeforces 229 D Towers 贪心+DP
- 研读《基于flume网络安全可视化系统》----小结
- 素材的多样性
- Mesh网格编程(二) 万能网格几何体
- Spring4 Retrofit2 整合
- 网站收藏
- Vysor:可以直接在 Chrome 中通过鼠标操作 Android 设备
- 关于使用cocoaPods,import导入时第三方库头文件没有提示问题的解决办法
- 分区格式化挂载
- 最全面的 DNS 原理入门