En el panorama en rápida evolución de la recuperación de IA, muchas soluciones son altamente especializadas, diseñadas para rendir excepcionalmente bien en tareas concretas. Sin embargo, las aplicaciones en el mundo real requieren sistemas que se adapten a una variedad de desafíos, desde interpretar complejos diseños visuales hasta realizar razonamientos lógicos profundos.
Por ello, priorizamos la generalizabilidad en nuestro diseño. En lugar de depender de heurísticas específicas de conjuntos de datos, construimos un pipeline agentic que adapta dinámicamente su estrategia de búsqueda y razonamiento a los datos disponibles. Esto nos permite ofrecer un rendimiento de vanguardia en diferentes benchmarks sin cambios arquitectónicos subyacentes.
A continuación, mostramos cómo lo construimos.
La Motivación: Por Qué la Similaridad Semántica No Es Suficiente
Durante años, la recuperación densa basada en la similitud semántica ha sido el estándar para encontrar información. Sin embargo, a medida que las aplicaciones de recuperación se expanden, localizar documentos relevantes va más allá de la similitud semántica. La búsqueda de documentos complejos requiere habilidades de razonamiento y comprensión de sistemas del mundo real.
Existe una brecha fundamental: los LLMs son excelentes para pensar y razonar, pero no pueden procesar millones de documentos a la vez. Por otro lado, los recuperadores pueden examinar fácilmente millones de documentos, pero tienen habilidades de razonamiento limitadas. La recuperación agentic cierra esta brecha creando un ciclo activo e iterativo entre el LLM y el recuperador.
Cómo Funciona: El Ciclo Agentic
Visión general del pipeline de recuperación agentic
Nuestro pipeline de recuperación agentic se basa en una arquitectura ReACT. En lugar de una única consulta, el agente busca, evalúa y refina su enfoque de manera iterativa.
El agente utiliza herramientas integradas como think para planificar su enfoque y final_results para obtener los documentos exactos necesarios para una consulta, además de una herramienta retrieve (query, top_k) para explorar el corpus. A través de este ciclo, observamos que emergen patrones de búsqueda exitosos:
- Generación de mejores consultas: El agente ajusta dinámicamente sus consultas de búsqueda basándose en información recién descubierta.
- Reformulación persistente: Reformula continuamente las consultas hasta encontrar información útil.
- Descomposición de complejidad: Traduce consultas complejas en múltiples consultas más simples con objetivos claros.
Finalmente, para sintetizar los descubrimientos iterativos, el agente llama a la herramienta final_results para presentar los documentos más relevantes, clasificados por su pertinencia a una consulta dada. Como red de seguridad, el pipeline recurre a la Fusión de Rango Recíproco (RRF) al alcanzar el número máximo de pasos o el límite de longitud de contexto, lo que puntúa los documentos según sus rangos en todos los intentos de recuperación en la trayectoria del agente.
Ingeniería para Velocidad y Escala
Los flujos de trabajo agentic suelen ser lentos y requieren muchos recursos. Para hacer viable este pipeline para evaluación a gran escala, tuvimos que repensar cómo se comunican el agente LLM y el recuperador.
Inicialmente, el recuperador estaba expuesto al agente a través de un servidor del Protocolo de Contexto de Modelo (MCP), una opción natural, ya que el MCP está diseñado para dar acceso a herramientas externas. Sin embargo, esta arquitectura impuso un costo acumulativo en la velocidad de los experimentos. Cada ejecución requería iniciar un servidor MCP por separado, cargar el corpus de datos adecuado en la memoria GPU y orquestar el ciclo de vida del cliente y el servidor. Cada uno de estos pasos era una oportunidad para errores de configuración silenciosos o un bloqueo del servidor bajo solicitudes de alto volumen. Los viajes de red añadieron latencia a cada llamada de recuperación, y la carga cognitiva general de gestionar la configuración de dos procesos dificultó significativamente que otros equipos adoptaran y mejoraran el pipeline.
Para resolver esto, reemplazamos el servidor MCP por un recuperador singleton seguro para hilos que vive en el proceso. El singleton carga el modelo y las incrustaciones del corpus una vez, protege todo el acceso con un bloqueo reentrante y expone la misma interfaz retrieve() a múltiples tareas de agente concurrentes, logrando el beneficio clave de un servidor MCP (acceso seguro y compartido a un recuperador residente en GPU desde múltiples hilos) sin incurrir en sobrecarga de serialización de red o requerir un proceso de servidor separado. Este único cambio arquitectónico eliminó toda una clase de errores de implementación y mejoró drásticamente tanto la utilización de la GPU como el rendimiento de los experimentos.
Generalización vs. Especialización a través de Benchmarks
Una observación común en la evaluación moderna de recuperación es que las soluciones altamente optimizadas para un tipo específico de tarea a menudo experimentan una brecha de rendimiento al aplicarse a un dominio completamente diferente.
| Pipeline | ViDoRe v3 |
|---|---|
| NeMo Agentic Retrieval (Opus 4.5 + nemotron-colembed-vl-8b-v2) | 69.22 (#1) |
| Dense retrieval (nemotron-colembed-vl-8b-v2) | 64.36 |
| INF-X-Retriever (INF-Query-Aligner + nemotron-colembed-vl-8b-v2) | 62.31 |
| INF-X-Retriever | 51.01 |
| Pipeline | BRIGHT |
|---|---|
| INF-X-Retriever | 63.40 (#1) |
| NeMo Agentic Retrieval (Opus 4.5 + nemotron-reasoning-3b) | 50.90 (#2) |
Logramos el segundo lugar en el ranking BRIGHT, intensivo en razonamiento, con un NDCG@10 de 50.90. La solución líder, INF-X-Retriever, alcanza un impresionante 63.40. Sin embargo, para probar la adaptabilidad entre dominios, evaluamos el pipeline INF-X (acoplado con el mismo nemotron-colembed-vl-8b-v2 utilizado en nuestro pipeline agentic) en ViDoRe v3, un conjunto de datos centrado en documentos empresariales visualmente ricos y diversos. En esta tarea diferente, su rendimiento fue de NDCG@10 de 62.31, inferior al puntaje de recuperación densa de 64.36. En otras palabras, INF-Query-Aligner no mejora sobre la base de recuperación densa en ViDoRe v3.
En contraste, nuestro mismo pipeline agentic (combinando Opus 4.5 con nemotron-colembed-vl-8b-v2) alcanzó el primer lugar en ViDoRe v3 con una puntuación de 69.22.
Esto resalta una fortaleza central de nuestro enfoque: generalizabilidad. En lugar de depender de heurísticas específicas de conjuntos de datos, nuestro ciclo agentic se adapta naturalmente a la estrategia según los requisitos del conjunto de datos, ya sea que requiera razonamiento lógico en múltiples pasos o interpretación de complejos diseños visuales.
Estudios de Ablación: Modelos Abiertos vs. Cerrados
ViDoRe v3
| Agente | Modelo de Incrustación | NDCG @10 | Promedio seg/consulta | Total de tokens de entrada (M) | Total de tokens de salida (M) | Promedio de llamadas de recuperación |
|---|---|---|---|---|---|---|
| Opus 4.5 | nemotron-colembed-vl-8b-v2 | 69.22 | 136.3 | 1837 | 15 | 9.2 |
| gpt-oss-120b | nemotron-colembed-vl-8b-v2 | 66.38 | 78.6 | 1860 | 13 | 2.4 |
| gpt-oss-120b | llama-nemotron-embed-vl-1b-v2 | 62.42 | 78.1 | 1459 | 13 | 2.5 |
| – | nemotron-colembed-vl-8b-v2 | 64.36 | 0.67 | – | – | – |
| – | llama-nemotron-embed-vl-1b-v2 | 55.83 | 0.02 | – | – | – |
BRIGHT
| Agente | Modelo de Incrustación | NDCG @10 | Promedio seg/consulta | Total de tokens de entrada (M) | Total de tokens de salida (M) | Promedio de llamadas de recuperación |
|---|---|---|---|---|---|---|
| Opus 4.5 | llama-embed-nemotron-reasoning-3b | 50.79 | 148.2 | 1251 | 11 | 11.8 |
| gpt-oss-120b | llama-embed-nemotron-reasoning-3b | 41.27 | 92.8 | 1546 | 11 | 4.5 |
| gpt-oss-120b | llama-nemotron-embed-vl-1b-v2 | 33.85 | 139.1 | 1516 | 12 | 6.6 |
| – | llama-embed-nemotron-reasoning-3b | 38.28 | 0.11 | – | – | – |
| – | llama-nemotron-embed-vl-1b-v2 | 19.56 | 0.08 | – | – | – |
Realizamos extensos estudios de ablación para comprender el trade-off entre modelos cerrados de frontera y alternativas de pesos abiertos:
- Elección del Modelo: En ViDoRe v3, sustituir Opus 4.5 por el
gpt-oss-120bresultó en una pequeña caída de precisión (69.22 a 66.38 NDCG@10) y se realizaron muchas menos llamadas de recuperación. En BRIGHT, la diferencia fue mayor, indicando que las tareas de razonamiento más profundas todavía se benefician de modelos de frontera como Opus 4.5. - Incrustaciones: Combinar el agente con incrustaciones especializadas (
nemotron-colembed-vl-8b-v2para ViDoRe yllama-embed-nemotron-reasoning-3bpara BRIGHT) produjo los mejores resultados, demostrando que un recuperador de base sólida proporciona un techo más alto para que el agente alcance. - También es interesante notar que el agente puede cerrar la brecha entre modelos de incrustación más fuertes y más débiles. Por ejemplo, en ViDoRe, la brecha entre el más fuerte
nemotron-colembed-vl-8b-v2y el más débilllama-nemotron-embed-vl-1b-v2es de aproximadamente 8.5 en recuperación densa, pero cuando se combina con el agentegpt-oss-120b, la brecha se reduce a aproximadamente 4. De manera similar,llama-embed-nemotron-reasoning-3bes aproximadamente 19 puntos mejor quellama-nemotron-embed-vl-1b-v2en BRIGHT, pero la ventaja se reduce a aproximadamente 7.5 cuando se combina con el agentegpt-oss-120b.
El Costo de la Autonomía y Qué Sigue
No hay almuerzo gratis. La recuperación agentic es más costosa y lenta que la recuperación densa estándar. Observando nuestros resultados de ViDoRe v3, el agente promedia 136 segundos por consulta y consume aproximadamente 760k tokens de entrada y 6.3k tokens de salida por consulta. (Nota: la latencia secuencial se mide en una única GPU A100 con una sola llamada a la API de Claude concurrente, es decir, sin buscar múltiples consultas al mismo tiempo, para reflejar el verdadero tiempo de búsqueda en casos de uso del mundo real).
Sin embargo, creemos que la recuperación agentic es un enfoque altamente viable para consultas complejas y de alto riesgo. Nuestros próximos pasos inmediatos se centran en la reducción de costos: estamos investigando formas de destilar estos patrones de razonamiento agentic en agentes más pequeños y especializados de pesos abiertos. Al afinar modelos más pequeños para orquestar el ciclo think y retrieve de manera nativa, nuestro objetivo es ofrecer precisión a nivel de Opus con una fracción de la latencia y el costo.
Construye Tu Propio Pipeline Agentic
Si bien nuestras ejecuciones líderes en el ranking exploraron combinaciones como Claude Opus y gpt-oss junto con nuestros modelos de incrustación de investigación, la verdadera fortaleza de esta arquitectura es su modularidad. Para implementaciones listas para producción, recomendamos encarecidamente probar combinar tu agente preferido con nuestro robusto modelo comercial de incrustación llama-nemotron-embed-vl-1b-v2. Para explorar estos modelos, sumergirte en las herramientas y comenzar a construir tus propios flujos de trabajo de recuperación altamente generalizables, visita la biblioteca NeMo Retriever hoy mismo.
