关于rsync的一些实验和经历

rsync大家不会陌生，非常强大的传输数据文件的工具，里面有好多参数供选择。在上半年实习的时候，接到一个任务就是把快要下线的10台机器的日志统一搬到一台机器上，写出相应的脚本，这其中还有宽带流量的限制。经过亮哥的指点，程序的架构大概是这样，就是在内网的机台机器同时去抢一把锁，抢到的就执行搬日志的工作，外网的机器去抢另一把锁，抢到的也去执行操作。锁是用redis简单的实现的，如下图：

上线测试了一下，情况不是一般的糟糕，开始的时候把日志做了一个zip的压缩（当时太没经验），大概1T的数据就让服务器给崩溃了，据说是磁盘负载过高了。然后选择了在rsync里面开压缩，并且断点续传,并选择了arcfour256的加密算法（之前测试arcfour256是加密算法中是最快的，默认/arcfour/arcfour128/arcfour256，以上是测试的几种加密算法）。运行之后发现速度并不是尽如人意，10T的数据在带宽限制的情况下跑了一周，因此对于rsync的参数性能做了测试，用的是centos的系统，网络带宽100Mbps左右。

在大数据的情况下，并且跨机房拷贝白天9～24时限速 10Mbps，0～8时限速 60Mbps的情况下：

Bigdata:一个数据文件大概一G-c arcfour256 -z:4000~6000KB/s（无限制5000～6000KB/s）//添加-c arcfour256,-z参数的情况下，传输数据的速度-c arcfour128 -z:5000~6000KB/s左右-z:5000~6000KB/s左右（无限制5000～6000KB/s）-c arcfour256: 13000KB/s左右，12000～14000KB/s-c arcfour128: 13000KB/s左右(无限制70000~90000KB/s)none:13000KB/s左右 （无限制30000～50000KB/s）Smalldata：数据文件很多但是都很小，大概几k到几兆-c arcfour256 -z:2000～4000KB/s左右（无限制2000～4000KB/s）-c arcfour128 -z:2000~4000KB/s左右-z:2000~4000KB/s，30000左右（无限制2500～4000KB/s）-c arcfour256: 13000KB/s左右，12000～14000KB/s-c arcfour128: 13000KB/s左右(无限制40000~90000KB/s，很不稳定)none:13000KB/s左右 （无限制30000～40000KB/s）

因此可以得到结论：A.arcfour256拥有最高的传输速度 B.-z选项会降低传输速度