NVIDIA Nemotron 3 Nano Omni es un modelo de comprensión omni-modal diseñado para el análisis de documentos del mundo real, razonamiento sobre múltiples imágenes, reconocimiento automático de voz, comprensión de audio y video de larga duración, uso computacional agentivo y razonamiento general. Este modelo amplía la línea multimodal Nemotron, pasando de un sistema de visión y lenguaje sólido a un modelo más amplio que integra texto, imagen, video y audio.
Nemotron 3 Nano Omni ofrece una precisión de clase mundial en tablas de clasificación de inteligencia de documentos complejos, como MMlongbench-Doc y OCRBenchV2. También lidera en tablas de clasificación de video y audio, como WorldSense y DailyOmni. Además, alcanza la mayor precisión en VoiceBench para comprensión de audio y se clasifica como el modelo de comprensión de video de código abierto más rentable en MediaPerf.
Arquitectura y características clave
Nemotron 3 Nano Omni utiliza un diseño unificado de encoder-projector-decoder. Su columna vertebral de lenguaje es Nemotron 3 Nano 30B-A3B, combinada con el encoder de visión C-RADIOv4-H y el encoder de audio Parakeet-TDT-0.6B-v2. Esta arquitectura permite una comprensión detallada de las entradas visuales y audios, escalando para manejar contextos multimodales muy largos.
El modelo está diseñado para preservar detalles visuales finos y añadir comprensión nativa de audio, utilizando un enfoque de alineación multimodal escalonada y extensión de contexto, seguido de optimización de preferencias y aprendizaje por refuerzo multimodal.
Ejemplos de flujos de trabajo
Ejemplo 1: Análisis de documentos multipágina
Nemotron 3 Nano Omni puede analizar y razonar sobre documentos extensos, como informes financieros y manuales. Por ejemplo, puede extraer métricas financieras de un documento de más de 100 páginas para calcular otro indicador.
Figura 3: Ejemplo estilizado del benchmark MMLongBench-Doc
Ejemplo 2: Comprensión de video + audio
Nemotron 3 Nano Omni realiza análisis conjunto de audio y video, permitiendo responder preguntas complejas que requieren razonamiento cruzado entre modalidades.
Pregunta
¿Qué estructura está en llamas según el video y cuánto dinero se estaba gastando en su proyecto de renovación?Respuesta
La estructura en llamas es la Catedral de Notre Dame, que estaba en un proyecto de renovación de casi 7 millones de dólares.
