Presentamos Nemotron 3 Nano 4B, el modelo más compacto de la familia Nemotron 3. Este modelo utiliza la arquitectura híbrida Mamba-Transformer, enfocándose en la eficiencia y precisión en capacidades específicas, marcando un nuevo estándar para modelos de lenguaje pequeños y ligeros.
Con 4 mil millones de parámetros, Nemotron 3 Nano 4B es lo suficientemente compacto para operar en plataformas NVIDIA Jetson (Jetson Thor/Jetson Orin Nano), así como en NVIDIA DGX Spark y NVIDIA RTX GPUs. Esto permite tiempos de respuesta más rápidos y una mayor privacidad de datos, manteniendo bajos los costos de inferencia.
Optimización para el uso local
Nemotron 3 Nano 4B es el primer modelo optimizado para despliegue en dispositivos y está diseñado para potenciar agentes conversacionales locales en entornos de GeForce RTX, Jetson y Spark. Este modelo logra una precisión y eficiencia sobresalientes en varios aspectos clave para su uso en producción:
- Seguimiento de instrucciones: estado del arte en su categoría de tamaño.
- Inteligencia en juegos: estado del arte en su categoría de tamaño.
- Eficiencia de VRAM: menor uso máximo de VRAM en su categoría bajo configuraciones de bajo y alto ISL/OSL.
- Latencia: menor TTFT en su categoría bajo configuraciones de alto ISL.
Además, Nemotron 3 Nano 4B ofrece un rendimiento excelente en el uso de herramientas y es altamente competitivo en la evitación de alucinaciones. Estas capacidades demuestran la fuerte idoneidad del modelo para casos de uso en el borde.
Desarrollo y optimización del modelo
Nemotron 3 Nano 4B se deriva de Nemotron Nano 9B v2, utilizando el marco Nemotron Elastic. Este enfoque permite heredar capacidades de razonamiento robustas como modelo de razonamiento híbrido. Se llevó a cabo un post-entrenamiento con un nuevo conjunto de datos, lo que potencia su habilidad para resolver tareas sin necesidad de un razonamiento explícito.
Finalmente, al ser un modelo de código abierto, permite a la comunidad personalizar y optimizar su uso para casos específicos de dominio.
Para Orak, evaluamos los modelos en juegos tácticos como Super Mario, Darkest Dungeon y Stardew Valley.
