亚马逊云科技(AWS)近日正式推出 S3 Files 功能,旨在解决长期困扰开发者和科研人员的数据存储与调用难题。该功能由亚马逊副总裁 Andy Warfield 及其团队开发,旨在消除将数据从传统文件系统迁移至云端时产生的“数据摩擦”。
解决科研与AI开发中的数据瓶颈
Warfield 在其博客中回顾了自己在不列颠哥伦比亚大学(UBC)从事基因组学研究的经历。当时,研究人员虽然拥有强大的计算能力,但大部分时间都浪费在手动搬运和同步海量基因测序数据上。这种现象并非基因组学领域独有,在机器学习模型训练、芯片设计及媒体制作行业中同样普遍存在。
“不同的工具通过不同的方式访问数据,当存储接口成为工作流程的阻碍时,整个开发效率会大打折扣,”Warfield 表示。在此前的工作中,研究团队曾尝试通过构建容器化系统来运行并行计算,但底层存储协议与 Linux 文件系统之间的不兼容性始终是性能提升的拦路虎。
随着人工智能代理(Agentic tooling)在软件开发中的普及,数据交互的效率问题显得尤为突出。AI 代理虽然能快速编写代码,但如果底层数据存储无法与现有的文件系统逻辑顺畅对接,这种开发效能的提升将大打折扣。
S3 Files 的推出正是为了弥合这一鸿沟。它允许用户直接在 S3 环境中处理数据,无需进行繁琐的数据复制或格式转换。通过简化存储边界,AWS 希望让开发者能更专注于构建应用,而非处理数据迁移的机械性劳动。