NVIDIA Dynamo busca agilizar el entrenamiento por refuerzo

Diagrama del ciclo de aprendizaje por refuerzo: generación, puntuación y actualización de pesos.
El diagrama muestra el ciclo: generar secuencias, puntuar resultados y actualizar los pesos del modelo.

NVIDIA Dynamo ofrece una capa de servicio para los procesos de entrenamiento por refuerzo (RL). Según NVIDIA, sus funciones de enrutamiento, distribución de pesos y recuperación pueden ayudar a generar más muestras aceptadas y completar iteraciones más rápido.

En estos procesos, los trabajadores generan secuencias de respuestas, acciones e interacciones con el entorno. El marco de RL evalúa los resultados, actualiza los pesos del modelo y los devuelve a los trabajadores para la siguiente ronda.

Al aumentar la escala, el trabajo de cómputo redundante, las generaciones lentas, las actualizaciones de pesos y los fallos de trabajadores pueden consumir capacidad de GPU y retrasar el entrenamiento.

Cuellos de botella del entrenamiento por refuerzo

Las cargas de trabajo pueden variar: una generación de razonamiento quizá contenga una respuesta, mientras que un agente de programación puede explorar un repositorio, editar código, usar herramientas y ejecutar pruebas.

Además, el tiempo de finalización depende del proceso más lento cuando se necesita un grupo de muestras. Repartir el mismo número de solicitudes entre GPU no garantiza distribuir el trabajo por igual.

También se puede volver a procesar el mismo contexto en varios intentos. Por otro lado, los trabajadores deben recibir nuevos pesos conforme a los requisitos del algoritmo sobre el muestreo y la antigüedad aceptable.

El ciclo de RL genera secuencias, asigna recompensas y actualiza los pesos antes de repetir el proceso.
Three constraints on RL training: fast rollouts idle while waiting for the slowest, the same prompt is reprocessed for each output, and one worker runs stale v2 weights while the trainer is at v3.
Tres limitaciones: generaciones lentas, procesamiento repetido de instrucciones y actualización oportuna de pesos.

Arquitectura de Dynamo para RL

Dynamo se sitúa entre la coordinación de las generaciones y los trabajadores de inferencia. El marco de RL envía solicitudes, Dynamo las dirige a capacidad disponible y los motores de inferencia ejecutan el modelo.

Las funciones quedan diferenciadas: el marco de RL gestiona optimización, recompensas, entornos y aceptación de muestras; Dynamo, el enrutamiento y la administración de trabajadores; y el motor de inferencia, la generación y aplicación de pesos.

Además, ModelExpress distribuye pesos y artefactos mediante integraciones compatibles. Las solicitudes de generación y las actualizaciones siguen rutas distintas, bajo el control del marco de RL, que determina cuándo pueden generar los trabajadores y qué resultados son aptos para el entrenamiento.

A diagram showing how the RL framework, Dynamo, SGLang, and ModelExpress coordinate rollout generation and weight updates.
Dynamo coordina el servicio de generación; el marco de RL controla el entrenamiento y ModelExpress distribuye los pesos.

Esta separación permite mejorar el servicio sin transferir a Dynamo el control del proceso de aprendizaje. Para más información, consulte la referencia de integración de RL.

Enrutamiento, distribución de pesos y recuperación

Enrutamiento consciente de la caché KV

Varios intentos de una tarea pueden compartir la misma instrucción. Enviar las solicitudes a un trabajador que ya tenga ese contexto en caché evita procesarlo de nuevo, aunque concentrarlas allí también puede formar una cola.

Por tanto, el enrutador de Dynamo busca equilibrar la reutilización de la caché KV y la carga de los trabajadores para reducir cómputo redundante y esperas.

A diagram showing how Dynamo balances cached context and worker load to reuse prompt processing and reduce waiting.
Dynamo equilibra la reutilización de la caché y la carga de los trabajadores para reducir retrasos.

Distribución de pesos con ModelExpress

El entrenamiento actualiza repetidamente el modelo, y enviar un punto de control completo a cada trabajador puede llevar tiempo e interrumpir la generación. ModelExpress reutiliza pesos disponibles en el clúster, en lugar de cargarlos desde almacenamiento remoto.

En trabajadores compatibles, los pesos pueden copiarse directamente desde otra GPU mediante NIXL. Además, la transferencia de deltas de pesos envía una representación comprimida de los cambios, que los trabajadores reconstruyen a partir de la versión base correspondiente.

A diagram showing two timelines: a longer weight load from storage and a shorter GPU-to-GPU transfer through ModelExpress.
ModelExpress permite cargar pesos desde la memoria GPU de un trabajador activo.
A diagram showing how ModelExpress shortens weight updates by transferring smaller deltas instead of full model weights.
Las actualizaciones transfieren cambios comprimidos en vez del modelo completo.

Este mecanismo también puede ayudar a recuperar capacidad: un trabajador de reemplazo puede cargar un punto de control y aplicar deltas posteriores para ponerse al día. El marco de RL coordina las actualizaciones y comprueba la preparación antes de aceptar nuevas muestras.

Recuperación ante fallos

Dynamo detecta la pérdida de trabajadores, dirige nuevas solicitudes a trabajadores aptos y añade reemplazos al enrutamiento cuando están listos. En configuraciones compatibles, también permite migrar solicitudes en curso y realizar un cierre gradual.

El marco de RL gestiona las muestras interrumpidas y verifica que los reemplazos usen los pesos requeridos. La animación muestra cómo, con Dynamo, una sesión compatible puede reanudarse desde el historial guardado en lugar de empezar desde el principio.

An animation showing a failed rollout restarting from the beginning without recovery and resuming from saved conversation history with Dynamo.
Dynamo redirige sesiones compatibles a trabajadores disponibles y puede usar el historial guardado.

Recursos para empezar

NVIDIA presenta Dynamo como una forma de coordinar la generación de secuencias, la distribución de pesos y la recuperación de trabajadores dentro del ciclo de entrenamiento. La documentación de Dynamo para RL ofrece información adicional.

Ilustración de un hombre mayor con auriculares y chaqueta