据 decrypt.co 报道,开发者已成功通过改进 Google 的 Gemma 模型,使其能够模拟 Anthropic 公司 Claude Opus 的推理风格与性能特征。
该项目采用了先进的微调方法,旨在缩小轻量级开源模型 Gemma 与规模更大、更复杂的 Claude Opus 之间的差距。
虽然 Google 的 Gemma 模型在架构和行为特征上已与更强大的 Gemini 模型具有一定的相似性,但这一新进展进一步推动了该模型的认知能力,使其向顶尖闭源大语言模型(LLM)的水平迈进。
提升开源权重模型的智能水平
此次改进的核心在于指令微调(instruction tuning)以及针对特定数据集的优化,旨在复制 Anthropic 模型中所蕴含的逻辑与细微差别。这使得体积较小的 Gemma 模型能够处理通常需要极高计算能力的复杂推理任务。
通过模拟 Claude Opus 的输出模式,微调后的 Gemma 模型在遵循复杂指令以及在多步问题求解过程中保持逻辑一致性方面,展现出了更强的能力。
这一突破表明,通过针对性的训练,开源权重模型与 Anthropic Claude 系列等闭源巨头之间的性能差距是可以缩小的,而不仅仅是依靠增加参数量。
随着开发者社区不断对 Google 的开源资产进行实验,轻量级易用模型与高端闭源系统之间的界限正变得越来越模糊。