La inteligencia artificial generativa ha evolucionado de un modelo de interacción simple, en el que un usuario envía un mensaje y el chatbot responde, hacia un sistema más complejo donde los agentes toman decisiones de manera autónoma.
Estos agentes no siguen una secuencia de acciones predefinida. Pueden llamar herramientas, generar subagentes con diferentes tareas, retener información en memoria y gestionar su propio contexto. Esta evolución ha llevado a un aumento en la demanda de consumo de tokens, requisitos de longitud de contexto y latencia, lo que está dando forma a la plataforma de diseño extremo de NVIDIA y su stack Vera Rubin.
Este artículo analiza esta evolución en tres partes:
- Cómo los agentes consumen tokens
- Por qué su economía se ve afectada bajo un servicio convencional
- Cómo es una infraestructura diseñada específicamente para agentes
Transición de chatbots a agentes
La popularización de la inteligencia artificial generativa comenzó con un modelo de interacción lineal y predecible. Sin embargo, la introducción de la llamada a herramientas ha cambiado fundamentalmente el funcionamiento de los chatbots.
Cuando un modelo tiene la capacidad de llamar una herramienta, también puede decidir cuántas herramientas usar y en qué orden. Por ejemplo, un agente encargado de redactar un correo electrónico podría:
- Leer la correspondencia existente
- Buscar contexto en el disco
- Confirmar la identidad de un destinatario
- Luego redactar el correo
Esta capacidad de encadenar tareas transforma el modelo en un agente, donde la carga de trabajo pasa de ser “linealmente predecible” a “estructuralmente probabilística”, haciendo que cada sesión de agente se comporte de manera diferente.
Características de arquitecturas agentic
La arquitectura agentic moderna combina jerarquías de agentes y técnicas de optimización para gestionar el contexto, el uso de herramientas y la optimización de tareas:
- Agente principal: Se encarga de la entrega de toda la tarea de principio a fin, y puede orquestar subagentes para manejar subtareas.
- Subagentes: Generados por el agente principal para manejar tareas más específicas, tienen la capacidad de gestionar su propio contexto.
- Estado de sistema de archivos: Los agentes pueden escribir memoria y resultados de llamadas a herramientas en archivos para su posterior búsqueda.
- Resumen y compresión: Técnica que permite resumir la ventana de contexto de un agente para hacer espacio a nueva información.
Hoy en día, muchas herramientas agentic siguen arquitecturas similares. Los agentes principales en herramientas como Claude Code delegan trabajo a subagentes para optimizar el uso de contextos más pequeños y paralelizar tareas.
La compresión del contexto es fundamental para evitar alcanzar el límite de la ventana de contexto y gestionar los costos de manera efectiva. Reducir la ventana de contexto de 156K tokens a 20K proporciona espacio para las próximas tareas.
Dinamismo de carga de trabajo y economía de sistemas agentic
En su informe sobre la construcción de un sistema multiagente, Anthropic estimó que estos sistemas consumen hasta 15 veces más tokens que los chats estándar. Este aumento significativo requiere una mejora en la economía de los tokens para que estas aplicaciones sean rentables a gran escala.
El costo y la complejidad de estas cargas de trabajo se pueden entender mejor a través del análisis de una sesión agentic real. La Figura 4 muestra un ejemplo medido de una tarea de codificación de Claude Code, donde se ilustra la longitud de la secuencia de entrada en cada solicitud hecha durante la sesión.
Esta sesión de 33 minutos rastrea 58 turnos del agente principal coordinando 225 invocaciones de subagentes. En total, la ventana de contexto crece de 15K tokens a un pico de 156K antes de un evento de compresión que la reduce a aproximadamente 20K.
La compresión del contexto es igualmente importante, ya que evita que se alcance el límite de la ventana de contexto y ayuda en la gestión de costos. La reducción de la ventana de contexto permite una gestión más eficiente de los tokens de entrada.
Requisitos de rendimiento de cargas de trabajo agentic
Para desbloquear el valor de las cargas de trabajo agentic, se requiere alta inteligencia del modelo, un contexto amplio y baja latencia. Cuanto más rápido producen estos agentes, mayor valor generan. Esto acorta los ciclos de I+D y mejora el control de procesos complejos.
Impulsar la reducción de costos de los tokens requiere que los productores mantengan escalas en la región de alta interactividad para grandes modelos. La Figura 6 ilustra este cuello de botella a través de un gráfico de rendimiento de inferencia.
Para operar con éxito, estos sistemas deben moverse hacia el lado de alta interactividad. Sin embargo, lograr esta baja latencia suele causar una caída dramática en el rendimiento. Esto hace que los costos por token sean prohibitivos, lo que representa un desafío económico para los sistemas agentic a gran escala.
Por qué un solo procesador no es suficiente
Estas demandas únicas no se resolverán simplemente agregando más capacidad de cómputo. Se necesita una plataforma donde cada cuello de botella se asocie con hardware especializado, orquestado como un sistema unificado mediante co-diseño extremo.
La combinación de estos componentes de hardware y software a través de co-diseño extremo permite a la plataforma Vera Rubin entregar más de 400 tokens por segundo por usuario en modelos de un billón de parámetros con un contexto de 400K. Este nivel de rendimiento convierte a las arquitecturas agentic en productos viables a gran escala.
Para más detalles sobre la plataforma Vera Rubin y su lanzamiento, explora los blogs de lanzamiento respectivos.
