Flume的安装和配置

Flume的安装和配置

一、Flume的介绍

Flume是Cloudera提供的一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
1.Flume的几个核心概念：event、client、flow、agent、source、channel、sink；
2.Flume 运行的核心是 Agent。它是一个完整的数据收集工具，含有三个核心组件，分别是 source、channel、sink。通过这些组件，Event 可以从一个地方流向另一个地方，如图所示:

3.Flume具有高可靠性，当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障：end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。），store on failure（当数据接收方崩掉时，将数据写到本地，待恢复后，继续发送），Best effort（数据发送到接收方后，不会进行确认）。

二、Flume的安装和配置

1.Flume的下载地址：http://flume.apache.org/download.html
下载apache-flume-1.6.0-bin.tar.gz和apache-flume-1.6.0-src.tar.gz
2.将下载的两个安装包放到linux上面（可以使用winscp直接复制上去），我的是放到/usr/local/目录下，然后解压：
tar zxvf apache-flume-1.6.0-bin.tar.gz,解压后得到apache-flume-1.6.0-bin
tar zxvf apache-flume-1.6.0-src.tar.gz,解压后得到apache-flume-1.6.0-src
解压后将src中的所有文件copy到apache-flume-1.6.0-bin/bin/目录下：cp -rf apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/bin/
3.配置Flume的环境变量配置，在/etc/profile

export FLUME_HOME=/usr/local/apache-flume-1.6.0-binexport FLUME_CONF_DIR=$FLUME_HOME/confexport PATH=.:$PATH::$FLUME_HOME/bin

4.验证安装是否成功:flume-ng version

[root@logsrv03 apache-flume-1.6.0-bin]# flume-ng version错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaPropertyFlume 1.6.0Source code repository: https://git-wip-us.apache.org/repos/asf/flume.gitRevision: 2561a23240a71ba20bf288c7c2cda88f443c2080Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015From source with checksum b29e416802ce9ece3269d34233baf43f[root@logsrv03 apache-flume-1.6.0-bin]# 

这里报了一个找不到或无法加载主类的错误，据说这个是flume-ng脚本有问题导致的，我尝试修改脚本和修改jdk的版本也没能解决问题，但是这个错误并不会影响使用。到此，flume安装完成。