En el vertiginoso avance de la inteligencia artificial, la capacidad de percibir y razonar sobre el mundo visual ha sido históricamente un cuello de botella. Los modelos de IA de frontera, como los basados en la arquitectura Gemini, procesaban las imágenes en un único vistazo estático. Si un detalle crucial —como un número de serie minúsculo o una señal de tráfico distante— se perdía, el modelo se veía forzado a adivinar o a fallar.
Xiandai informa que esta limitación está siendo superada con la introducción de la "Visión Agentica" (Agentic Vision) en Gemini 3 Flash. Esta nueva funcionalidad convierte la comprensión de imágenes de un acto pasivo a un proceso de investigación activa, empleando un bucle fundamental de 'Pensar, Actuar, Observar' (Think, Act, Observe).
El núcleo de esta innovación reside en la combinación del razonamiento visual con la ejecución de código. Al habilitar esta herramienta, Gemini 3 Flash formula planes iterativos: puede decidir hacer zoom en una región específica, ejecutar código para procesar esa porción ampliada y luego integrar el resultado de vuelta en su contexto. Esta metodología ha demostrado una mejora consistente del 5% al 10% en la calidad general de los benchmarks visuales.
Las aplicaciones son profundas y transformadoras. En el ámbito de la ingeniería y la arquitectura, plataformas como PlanCheckSolver.com están utilizando la ejecución de código para inspeccionar iterativamente planos de alta resolución. Gemini 3 Flash genera código Python para recortar y analizar secciones específicas (bordes de tejados, secciones de edificios), anclando su razonamiento en evidencia visual verificable para confirmar el cumplimiento de normativas complejas.
Además, la Visión Agentica introduce un "bloc de notas visual". En lugar de simplemente describir lo que ve, el modelo puede ejecutar código para anotar directamente sobre la imagen. Un ejemplo claro es el conteo de dedos en la aplicación Gemini: el modelo traza cuadros delimitadores (bounding boxes) y etiquetas numéricas sobre cada dedo identificado, asegurando que la respuesta final se base en una comprensión perfecta a nivel de píxel, mitigando errores de conteo.
Para tareas que involucran aritmética visual y tablas de alta densidad, la ejecución de código ofrece una ventaja determinista frente a la propensión de los LLMs a alucinar. Gemini 3 Flash puede externalizar el cálculo a un entorno Python, normalizando datos y generando gráficos profesionales (como diagramas de barras Matplotlib), reemplazando la conjetura probabilística con ejecución verificable.
La Visión Agentica ya está disponible a través de la API de Gemini en Google AI Studio y Vertex AI, y se está implementando gradualmente en la aplicación Gemini. Este paso marca un cambio fundamental: la IA ya no solo observa el mundo digital; ahora interactúa con él de manera metódica y fundamentada.
Fuente: Blog oficial de Google (Innovación y IA).