xiand.ai
科技

研究显示rclone并行传输速度比rsync快四倍,优化局域网大文件同步

技术研究人员发现,使用rclone工具进行网络文件同步,其速度比传统的rsync工具快了四倍,尤其是在处理大量小文件和较大文件混合的场景中。这一性能提升主要归功于rclone的并行传输能力,成功将10 Gbps局域网带宽充分利用起来。 该测试场景涉及从网络附加存储(NAS)向本地SSD传输约59 GiB的项目数据,rclone仅用时约两分钟,而rsync耗时超过八分钟。

La Era

Rclone Outperforms Rsync by 4x for Large Local File Synchronization Tasks
Rclone Outperforms Rsync by 4x for Large Local File Synchronization Tasks
Publicidad
Publicidad

一位技术研究人员近期公开了一项关于网络文件同步效率的测试结果,显示开源工具rclone在特定工作负载下,其传输速度比传统的rsync工具快了约四倍。此项发现对于需要频繁在本地网络环境(如LAN)中同步大量项目文件的工作流至关重要。

测试的瓶颈在于同步包含五百到一千个独立文件的工作集,其中部分文件大小在1 GB到10 GB之间,该用户拥有10 Gbps的网络连接能力。原始的rsync操作在同步约59 GiB数据时,耗时超过八分钟,平均传输速率远未达到网络带宽上限。

研究指出,rsync的核心限制在于其串行化和单线程的文件复制机制,导致即使针对大文件,其在特定网络共享上的速度也仅能稳定在约350 MB/sec左右。研究人员尝试了多种优化方案,包括压缩或启用rsync守护进程,但均未能显著提升性能。

rclone的优势在于其内置的并行处理选项,特别是通过设置参数--multi-thread-streams实现了多路并发传输。通过将此参数设置为32,研究人员成功地使Mac的网络连接饱和,将传输时间大幅缩短至两分多钟。

在对比测试中,rclone在进行完整目录树的元数据扫描时,速度与rsync基本持平,耗时约18秒。因此,性能的巨大差异完全归因于文件数据传输阶段的并行化处理能力。

研究人员在rclone命令中加入了排除特定隐藏文件(如Final Cut Pro生成的.fcpcache目录)的参数,以确保与rsync的同步逻辑尽可能一致。最终确认,rclone的并行化机制是实现数倍速度提升的关键所在。

这项测试结果表明,对于有高带宽需求且文件数量众多的本地同步任务,技术人员应重新评估工具选择,rclone提供了一种更充分利用现有硬件资源的替代方案。

Publicidad
Publicidad

评论

评论存储在您的浏览器本地。

Publicidad
Publicidad