Amazon invitó a un periodista a un tour exclusivo por su laboratorio de Trainium en Austin tras anunciar un acuerdo de 50 mil millones de dólares con OpenAI. El director de la nube, Andy Jassy, confirmó que AWS será el proveedor exclusivo para la nueva herramienta de agentes de inteligencia artificial de su socio. Esta visita ofrece una ventana a cómo la empresa planea reducir costos y competir directamente con Nvidia.
El laboratorio alberga a equipos de ingeniería que trabajan en la sexta generación de procesadores, incluyendo el Trainium3. Según los informes, hay uno punto cuatro millones de chips de esta familia desplegados actualmente en sus centros de datos. La capacidad de inferencia es ahora una prioridad, a diferencia de los primeros modelos enfocados solo en entrenamiento.
AWS mantiene una relación histórica con Anthropic, aunque el nuevo acuerdo con OpenAI añade una capa de exclusividad. Se reportó que Microsoft podría considerar que este trato viola sus propios acuerdos de acceso a modelos. Sin embargo, la infraestructura de AWS soporta actualmente más de uno millón de chips Trainium2 para el modelo Claude.
Kristopher King, director del laboratorio, destacó que la base de clientes se expande a la velocidad que pueden producir chips. Mencionó que Bedrock podría llegar a ser tan grande como el servicio EC2 en el futuro. Esta escalabilidad es crucial para sostener la demanda creciente de procesadores de inferencia en la industria.
Los nuevos servidores Trn3 Ultra ofrecen hasta un 50% menos de costo operativo para un rendimiento comparable frente a servidores clásicos. El equipo también diseñó conmutadores Neuron que permiten una configuración de malla reduciendo la latencia entre chips. Mejoras en precio por potencia son vitales cuando se manejan billones de tokens al día.
Apple elogió a este equipo en 2024 por el uso de sus procesadores Graviton e Inferentia. Esta validación externa refuerza la capacidad de Amazon para competir en el mercado de semiconductores personalizados. La estrategia consiste en observar la demanda del cliente y construir alternativas internas que compitan en precio.
Tradicionalmente, los costos de cambio han dificultado la migración desde los chips de Nvidia. Amazon asegura que ahora sus chips soportan PyTorch y Hugging Face con cambios mínimos en el código. Esto requiere básicamente un cambio de una línea, recompilación y ejecución en Trainium.
El laboratorio se encuentra en el distrito The Domain de Austin, en un edificio con vistas a la ciudad. Los ingenieros trabajan en un espacio industrial ruidoso más parecido a un taller que a un laboratorio de ciencias. Aquí ocurre el montaje inicial del silicio, un proceso que suele involucrar largas noches sin dormir.
Los chips Trainium3 se producen en tres nanómetros por TSMC, mientras que otros son fabricados por Marvell. El equipo enfrenta desafíos técnicos, como ajustes de dimensiones para sistemas de refrigeración líquida. Un ingeniero demostró la soldadura de componentes microscópicos bajo un microscopio durante la visita.
El equipo ya está trabajando en la próxima versión, Trainium4, mientras continúa gestionando la demanda actual. La integración con Cerebras Systems promete un rendimiento de inferencia de baja latencia sin precedentes. El éxito de esta estrategia podría definir el futuro del mercado de computación para inteligencia artificial.
