Vercel, la empresa detrás de Next.js, reveló que un índice de documentación incrustado estáticamente en el archivo AGENTS.md superó significativamente a las 'skills' de invocación activa al evaluar la capacidad de los agentes de IA para generar código compatible con las últimas APIs de Next.js 16.
El experimento se centró en la necesidad de proporcionar a los agentes conocimiento actualizado, ya que los modelos de lenguaje grandes a menudo tienen datos de entrenamiento obsoletos, fallando en reconocer nuevas características como 'use cache' o 'connection()'. Vercel probó dos métodos: empaquetar el conocimiento en 'skills' invocables o inyectarlo como contexto persistente en AGENTS.md.
Sorprendentemente, cuando se implementaron las 'skills', los agentes fallaron en invocarlas en el 56% de los casos, incluso cuando se añadieron instrucciones explícitas para forzar su uso, lo que elevó la tasa de éxito al 79%. Este enfoque demostró ser frágil, ya que ligeros cambios en la redacción de las instrucciones provocaron variaciones drásticas en el comportamiento del agente.
Al eliminar la necesidad de que el agente tomara una decisión de recuperación, el enfoque AGENTS.md, que inyecta un índice de documentación (comprimido a 8KB), alcanzó un 100% de aprobación en las pruebas más rigurosas. Este contexto pasivo y constante evitó los problemas de secuenciación que afectaban a las 'skills'.
La teoría de Vercel sugiere que la superioridad radica en la ausencia de un punto de decisión para el agente y la disponibilidad consistente de la información en cada turno del sistema, a diferencia de la carga asíncrona de las 'skills'. Para lograr esta eficiencia, el índice se comprimió un 80% usando una estructura delimitada por tuberías, apuntando a archivos de documentación específicos.
La configuración de AGENTS.md se facilita mediante una herramienta de codemod que descarga la documentación coincidente y la inyecta automáticamente en el archivo raíz del proyecto. Este método asegura que el agente consulte documentación precisa, independientemente de la versión de Next.js que utilice el desarrollador.
Aunque las 'skills' no son obsoletas, Vercel las reserva para flujos de trabajo verticales y explícitamente activados, como migraciones de versión. Para el conocimiento general del framework, el contexto pasivo proporcionado por AGENTS.md ofrece una mejora horizontal más robusta en la actualidad.
Este hallazgo sugiere una dirección inmediata para los desarrolladores de frameworks: priorizar la inyección de contexto comprimido y verificable sobre los mecanismos de recuperación de herramientas para asegurar la precisión del código generado por IA en entornos de desarrollo dinámicos.
