Safetensors se une a la Fundación PyTorch para impulsar su desarrollo comunitario
Safetensors se une a la PyTorch Foundation como un proyecto gestionado bajo la Linux Foundation, junto a otras iniciativas importantes. Originalmente un proyecto de Hugging Face, ha crecido como el formato preferido para compartir pesos de modelos en la comunidad de aprendizaje automático. Esta integración asegura una gobernanza neutral y abierta, permitiendo una evolución basada en la contribución comunitaria mientras se mantienen las mismas funcionalidades y APIs para los usuarios.
Nuevo método Ulysses mejora entrenamiento de modelos de lenguaje con secuencias largas
El entrenamiento de modelos de lenguaje está evolucionando hacia contextos de millones de tokens, siendo crucial para analizar documentos extensos y resolver tareas complejas. La técnica Ulysses Sequence Parallelism permite distribuir la carga de atención entre múltiples GPUs, superando las limitaciones de memoria. Esta innovación mejora la eficiencia y el rendimiento en la formación de modelos de inteligencia artificial. La implementación se extiende en el ecosistema de Hugging Face, facilitando su adopción.
