VAKRA Dataset | LeaderBoard | Release Blog | GitHub | Submit to Leaderboard
Se ha presentado VAKRA, un banco de pruebas ejecutable que evalúa la capacidad de los agentes de inteligencia artificial para razonar y actuar en entornos empresariales.
A diferencia de los bancos de pruebas tradicionales, VAKRA mide el razonamiento composicional a través de APIs y documentos, utilizando trazas de ejecución completas para determinar si los agentes pueden completar flujos de trabajo de múltiples pasos de manera confiable.
Entorno y Capacidades de VAKRA
VAKRA ofrece un entorno ejecutable en el que los agentes interactúan con más de 8,000 APIs hospedadas localmente, respaldadas por bases de datos reales que abarcan 62 dominios, junto con colecciones de documentos alineados por dominio. Las tareas pueden requerir cadenas de razonamiento de 3 a 7 pasos que combinan interacciones API estructuradas con recuperación no estructurada, bajo restricciones de uso de herramientas en lenguaje natural.
Los modelos han tenido un desempeño deficiente en VAKRA. En este blog se incluyen detalles adicionales del conjunto de datos y un análisis de los modos de fallo observados en diferentes tareas.
Descripción de la Tarea
El banco de pruebas VAKRA consta de cuatro tareas, cada una evaluando un conjunto diferente de capacidades.
Las capacidades evaluadas incluyen: 1) encadenamiento de APIs usando APIs de inteligencia empresarial, 2) selección de herramientas usando APIs de panel, 3) razonamiento multi-salto usando APIs de panel y 4) razonamiento multi-salto y multi-fuente, así como cumplimiento de políticas.
Fig 1: Ejemplos representativos de cada capacidad en el banco de pruebas VAKRA
Capacidad 1: Encadenamiento de APIs usando APIs de Inteligencia Empresarial
Esta capacidad incluye 2,077 instancias de prueba en 54 dominios, requiriendo herramientas de las colecciones SLOT-BIRD y SEL-BIRD (Elder et al., 2026). La colección SLOT-BIRD y SEL-BIRD se expandieron para incluir un mayor número de dominios. Cada dominio está restringido a una colección de herramientas, y las tareas implican encadenar de 1 a 12 llamadas a herramientas para llegar a la respuesta final.
{ "query": "¿Qué equipo de fútbol tiene una velocidad de juego de 31, un regate de 53 y un pase de 32?", "tool_calls":[ { "name": "get_data", "arguments":{"tool_universe_id="486ea46224d1-aeb8037c5e78"}, "label": "retrieved_data_1" }, { "name": "select_data_equal_to", "arguments":{"data_label":"retrieved_data_1","key_name":"play_speed","value":31}, "label": "FILTERED_DF_0" }, { "name": "select_data_equal_to", "arguments":{"data_label":"FILTERED_DF_0","key_name":"play_dribble","value":53}, "label": "FILTERED_DF_1" }, { "name": "select_data_equal_to", "arguments":{"data_label":"FILTERED_DF_1","key_name":"play_passing","value":32}, "label": "FILTERED_DF_2" }, {"name":{get_team_name},"arguments":{"data_label":"FILTERED_DF_2","n":1}}}], "answer": "FC Barcelona" } Fig 2: Muestra de datos de la colección SEL-BIRD
Cada instancia tiene una fuente de datos JSON asociada de la cual debe derivarse la respuesta. Los servidores MCP que soportan esta tarea incluyen una herramienta especial llamada get_data(tool_universe_id=id), que debe ser llamada al inicio de cada instancia. Esta herramienta inicializa la fuente de datos, devuelve una vista previa ligera de los datos y almacena el conjunto completo de datos en el servidor para evitar grandes transferencias de datos.
Marco de Evaluación
VAKRA evalúa agentes en entornos de herramientas donde el éxito depende de la capacidad para ejecutar flujos de trabajo coherentes de múltiples pasos y la corrección de las respuestas. Se introduce un marco de evaluación centrado en la ejecución que evalúa no solo los resultados finales, sino también la trayectoria completa de ejecución de herramientas que incluye llamadas a herramientas, entradas y resultados intermedios.
Métrica de Evaluación
El Evaluador VAKRA opera sobre dos entradas clave para cada muestra: una respuesta final predicha y la correspondiente trayectoria de llamadas a herramientas. Las llamadas a herramientas de la trayectoria predicha se ejecutan en el mismo entorno que la verdad de base para verificar los resultados intermedios de las herramientas.
La evaluación sigue una tubería de estilo cascada, donde las etapas posteriores dependen del éxito anterior:
- Para las tareas de la Capacidad 4, se verifica programáticamente primero la adhesión a las políticas.
- La secuencia de llamadas a herramientas predicha se compara con la secuencia de verdad de base.
- Solo las muestras con trayectorias válidas proceden a la evaluación de la respuesta final.
Fig 6: Tubería de Evaluación de Estilo Cascada
Comparación de Secuencias de Herramientas
Debido a la presencia de un entorno ejecutable, los agentes pueden explorar el entorno y, a veces, devolver la respuesta invocando un conjunto diferente de APIs que las que hemos identificado. Para apoyar invocaciones de herramientas alternativas pero válidas y caminos de razonamiento, la corrección se evalúa ejecutando cada herramienta predicha y comparando el conjunto de respuestas de herramientas con las de la verdad de base.
Evaluación de la Respuesta Final
Para trayectorias que pasan la verificación previa, la respuesta final se evalúa utilizando un juez basado en LLM. Este paso asegura que la respuesta esté (i) fundamentada en las salidas de herramientas predichas, y (ii) factualmente consistente con la respuesta de verdad de base.
Este diseño asegura que los agentes sean recompensados no solo por producir respuestas correctas, sino por obtenerlas a través de procesos de razonamiento válidos y completos.
Conclusión
VAKRA expone una brecha crítica entre la competencia superficial en herramientas y la fiabilidad robusta de los agentes de extremo a extremo. Aunque los modelos modernos pueden seleccionar APIs y ejecutar llamadas a herramientas aisladas, VAKRA demuestra que estas habilidades por sí solas son insuficientes para el despliegue en el mundo real. En la práctica, los modelos a menudo fallan cuando se requiere realizar razonamientos composicionales bajo restricciones de ejecución.
Think your agent is solid? Put it to the test.
Run it on VAKRA and see where it falls apart—tool selection, multi-hop reasoning, or policy constraints.
Try it and tell us what your agent learned
