Safetensors se ha unido a la PyTorch Foundation como un proyecto gestionado por la Linux Foundation, junto a DeepSpeed, Helion, Ray, vLLM y PyTorch.
Cómo llegamos aquí
Safetensors se originó como un proyecto de Hugging Face, creado para almacenar y compartir pesos de modelos sin ejecutar código arbitrario. Los formatos basados en pickle que predominaban en ese momento presentaban un riesgo real de ejecutar código malicioso. Este riesgo era aceptable cuando el aprendizaje automático estaba en sus inicios, pero se volvió inaceptable a medida que el intercambio de modelos abiertos se convirtió en fundamental en la comunidad de aprendizaje automático.
El formato desarrollado es intencionalmente simple: un encabezado JSON con un límite de 100 MB que describe los metadatos del tensor, seguido de los datos del tensor en bruto. Permite una carga sin copia que mapea los tensores directamente desde el disco y carga de manera perezosa para leer pesos individuales sin deserializar un punto de control completo.
Por qué la PyTorch Foundation
Queremos que Safetensors realmente pertenezca a la comunidad. Aunque el proyecto siempre ha sido de código abierto, las contribuciones de código son solo una parte de su evolución. Al incorporar más empresas y colaboradores en la gobernanza del proyecto, aseguramos que el progreso refleje la diversidad de la comunidad que se construye sobre él. Unirse a la PyTorch Foundation significa que Safetensors ahora tiene un hogar neutral en términos de proveedores.
La marca, el repositorio y la gobernanza del proyecto están bajo la Linux Foundation en lugar de una sola empresa. Los dos mantenedores principales de Hugging Face, Luc y Daniel, permanecen en el Comité Directivo Técnico y continúan liderando el proyecto diariamente, pero Safetensors ahora pertenece formalmente a la comunidad que depende de él.
Qué significa esto para usuarios y colaboradores
Para la gran mayoría de los usuarios, nada cambia. El formato es el mismo, las API son las mismas y la integración con el Hub también. Los modelos almacenados en formato Safetensors seguirán funcionando exactamente como lo hacen ahora.
Para los colaboradores, el camino para convertirse en mantenedor está formalmente documentado y abierto a cualquier persona en la comunidad. La gobernanza del proyecto se encuentra en GOVERNANCE.md y MAINTAINERS.md en el repositorio. Para las organizaciones que construyen sobre Safetensors, la gobernanza neutral bajo la Linux Foundation proporciona una base estable y a largo plazo, completamente impulsada por la comunidad.
Qué sigue
Safetensors es un proyecto bien establecido y adoptado por el ecosistema, pero estamos convencidos de que estamos en el inicio del mismo.
Estamos trabajando con el equipo de PyTorch para que Safetensors se utilice dentro del núcleo de PyTorch como un sistema de serialización para modelos de torch.
En los próximos meses, veremos un crecimiento significativo, y no podríamos imaginar un mejor hogar para ese próximo capítulo que la PyTorch Foundation. El futuro incluye carga y guardado conscientes del dispositivo, de modo que los tensores puedan cargarse directamente en CUDA, ROCm y otros aceleradores sin una preparación innecesaria en la CPU.
También estamos desarrollando API de primer nivel para la carga paralela de tensores y paralela de tuberías, para que cada rango o etapa de la tubería cargue solo los pesos que necesita. A medida que el paisaje de cuantización del ecosistema continúa evolucionando, formalizaremos el soporte para formatos FP8, formatos cuantizados por bloques como GPTQ y AWQ, y tipos de enteros sub-byte.
Estos son problemas en los que todo el ecosistema tiene interés en resolver, y estar dentro de la PyTorch Foundation nos permite trabajar en ellos en colaboración con otros proyectos gestionados.
Involúcrate
Safetensors es de código abierto y las contribuciones son bienvenidas en todos los niveles, desde informes de errores y documentación hasta nuevas características y participación en la gobernanza.
Si eres desarrollador, investigador u organización que construye sobre Safetensors y deseas involucrarte más en dar forma a su dirección, abre un issue, inicia una discusión o contacta directamente a los mantenedores. El proyecto siempre ha pertenecido a la comunidad que lo utiliza, y la gobernanza ahora también lo refleja.
