Anthropic近期发布的一项针对软件开发者的随机对照试验(RCT)研究,深入探讨了AI辅助在编码技能形成过程中可能带来的认知权衡问题。该研究招募了52名主要为初级级别的Python开发者,旨在量化使用AI工具(如Claude.ai)进行新库学习时,对技能掌握和理解力的影响。
研究的核心发现是,与独立手动编码的对照组相比,AI辅助组在涉及刚学习概念的测验中平均得分低了17%,这相当于近两个字母等级的差距。尽管AI组平均完成任务的速度快了约两分钟,但这种速度提升并未达到统计学上的显著性标准,凸显了效率与学习之间的潜在矛盾。
研究人员特别关注了调试能力,发现AI组在针对代码错误和失败原因的判断题上差距最大。这表明,如果AI阻碍了对代码工作原理的深入理解,开发者在需要对AI生成代码进行高风险环境下的监督和纠错时,可能会面临挑战。
然而,研究强调AI依赖并非单一结果,个体如何与AI交互是决定学习效果的关键因素。那些在测验中得分较高的参与者,倾向于将AI不仅用作代码生成器,还用作概念查询和解释请求的工具,实现了深度参与。
与此相对,得分较低的模式显示出对AI的过度依赖,表现为频繁的代码生成或调试请求,这被分析为认知卸载(cognitive offloading)的体现。这些参与者在学习新Python库Trio时,未能内化异步编程等核心概念。
研究指出,在时间压力下,初级专业人员可能为了追求速度而牺牲技能发展,这可能导致他们缺乏验证AI输出所需的基本能力。这种现象对组织在推广AI工具时提出了明确的政策考量。
最终结论提示,认知努力乃至遇到困难是培养专业掌握度的重要环节。企业在向更高比例的AI生成代码过渡时,必须设计系统和策略,确保工程师在利用AI提高效率的同时,能够持续进行有意义的学习和技能巩固。