Flume + Keepalived构建高可用分布式采集系统
来源:互联网 发布:哪个外卖软件好 编辑:程序博客网 时间:2024/06/11 20:39
上一篇《Flume之Failover和Load balancing原理及实例》的实例的架构如下:
10.0.1.76作为Client,通过exec获取nginx的日志信息,然后将数据传到10.0.1.68(配置了Failover和Load balancing)的节点,最后10.0.1.68将数据发送的10.0.1.70,77,85,86,87节点,这些节点最终将数据写到本地硬盘。
那么问题来了,如果10.0.1.68的Flume异常退出或者服务器down机的话,10.0.1.76(Client)无法将数据发送出去。无论Channel采用的MemoryChannel还是FileChannel都会导致数据积压甚至数据丢失,即使10.0.1.68恢复正常,也有可能因为Client积压的数据太多给10.0.1.68节点造成压力,那么有没有更好的方式解决这个问题呢?
下面我们采用Flume + Keepalived的方式解决单点故障,架构改成:
10.0.1.76(Client)通过虚拟IP(10.0.1.71)访问Keepalived绑定的主备节点10.0.1.68和10.0.1.69。这样的话,某个节点挂了keepalived会自动切换,保证程序的正确运行,而不会出现数据积压的情况。
10.0.1.76(Client)的配置修改成:
其他的配置不需要更改,10.0.1.68和10.0.1.69的配置保持一致即可。
最后只需要配置keepalived,实现10.0.1.68和10.0.1.69节点的高可用,从而避免单点故障。Keepalived具体的配置参照:《keepalived安装部署及Flume+keepalived高可用》
基于Flume的高可用架构可以有很多种方式,大家可以根据自己业务的特点做一些变化,以满足公司业务的需求
- Flume + Keepalived构建高可用分布式采集系统
- Flume + Keepalived构建高可用分布式采集系统
- Flume:构建高可用、可扩展的海量日志采集系统——互动出版网
- 日志采集框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统)
- Flume++构建高可用、可扩展的海量日志采集系统%40www.java1234.com.pdf 免费下载
- 如何构建高可用的分布式系统
- 使用Nginx+KeepAlived构建高可用的负载均衡系统
- HAProxy + KeepAlived构建高可用的反向代理系统
- keepalived安装部署及Flume+keepalived高可用
- HaProxy+keepalived+mycat分布式高可用架构
- haproxy+keepalived构建高可用负载均衡
- 使用keepalived构建高可用mysql-HA
- LVS+Keepalived构建高可用负载均衡
- 利用keepalived构建高可用的MySQL
- 利用keepalived构建高可用MySQL-HA
- 利用keepalived构建高可用MySQL-HA
- 使用keepalived 构建redis高可用
- 利用keepalived构建高可用MySQL-HA
- 进程间通信方式
- 开发高并发系统时保护系统的三把利器:缓存、降级和限流
- SharePoint Framework 自定义field示例中的gulp server运行错误
- Linux用户管理 (实验2)
- 高并发秒杀系统
- Flume + Keepalived构建高可用分布式采集系统
- js截取字符串,去掉前几位
- bzoj 4198: [Noi2015]荷马史诗 k叉哈夫曼树
- fullpage(jQuery全屏滚动插件)插件的使用
- 开启CSDN之旅
- Python list(列表)
- hihocoder #1051 补提交卡
- 安装activeMQ(window,linux系统)
- IOS OC基础 +-的区别