Integración del Tensor Escaso Universal en nvmath-python para optimizar el aprendizaje profundo
La integración del Universal Sparse Tensor (UST) en nvmath-python v0.9.0 permite a los desarrolladores optimizar aplicaciones científicas y de aprendizaje profundo. Este nuevo sistema facilita la interoperabilidad con PyTorch y otros frameworks, permiten convertir formatos de manera eficiente, y soporta la creación de esquemas de sparsidad personalizados. Los usuarios pueden disfrutar de un rendimiento mejorado en tareas matemáticas complejas sin necesidad de reescribir su código existente.
NVIDIA presenta AutoDeploy: optimización automática para inferencias de modelos de lenguaje
NVIDIA presenta AutoDeploy, una nueva funcionalidad beta en TensorRT LLM que optimiza automáticamente modelos de PyTorch para mejorar la inferencia en modelos de lenguaje grande (LLMs). Este sistema reduce el tiempo de despliegue al transformar gráficos de computación sin necesidad de ajustes manuales, permitiendo a los desarrolladores centrarse en la creación del modelo mientras el compilador se encarga de optimizaciones específicas de inferencia. AutoDeploy evidencia su eficacia al facilitar el lanzamiento de arquitecturas innovadoras, como Nemotron.
