Un nuevo método desarrollado por investigadores del MIT puede acelerar el entrenamiento de inteligencia artificial (IA) que preserva la privacidad en un 81%. Este avance facilitará el uso de modelos de IA más precisos en dispositivos de borde con recursos limitados, como sensores y relojes inteligentes, manteniendo la seguridad de los datos del usuario.
La técnica, conocida como aprendizaje federado, permite que una red de dispositivos conectados colabore para entrenar un modelo de IA compartido. En este proceso, el modelo se envía desde un servidor central a dispositivos inalámbricos, donde cada uno lo entrena con sus datos locales y luego envía las actualizaciones de vuelta al servidor. Así, los datos permanecen seguros en cada dispositivo.
Mejorando la eficiencia del aprendizaje federado
No obstante, no todos los dispositivos en la red tienen la capacidad, potencia computacional y conectividad necesarias para almacenar, entrenar y transferir el modelo de manera oportuna. Esto genera retrasos que afectan el rendimiento del entrenamiento.
Los investigadores del MIT han desarrollado una técnica para superar estas limitaciones de memoria y cuellos de botella en la comunicación. Su método está diseñado para manejar una red heterogénea de dispositivos inalámbricos con diversas limitaciones.
Este enfoque podría facilitar el uso de modelos de IA en aplicaciones críticas con altos estándares de seguridad y privacidad, como la atención médica y las finanzas. Según Irene Tenison, estudiante de posgrado en ingeniería eléctrica y ciencias de la computación y autora principal de un artículo sobre esta técnica, «Este trabajo se trata de llevar la IA a dispositivos pequeños donde actualmente no es posible ejecutar estos poderosos modelos».
Reducción del tiempo de espera
Muchos enfoques de aprendizaje federado suponen que todos los dispositivos de la red tienen suficiente memoria para entrenar el modelo completo y una conectividad estable para transmitir actualizaciones rápidamente. Sin embargo, esta suposición no se cumple en redes de dispositivos heterogéneos, como relojes inteligentes, sensores inalámbricos y teléfonos móviles, que a menudo enfrentan limitaciones.
El servidor central generalmente espera recibir actualizaciones de todos los dispositivos para promediar los resultados y completar el ciclo de entrenamiento. “Este tiempo de espera puede ralentizar el procedimiento de entrenamiento o incluso hacer que falle”, comenta Tenison.
Para superar estas limitaciones, los investigadores han creado un nuevo marco denominado FTTE (Federated Tiny Training Engine), que reduce la sobrecarga de memoria y comunicación necesaria para cada dispositivo móvil.
Aceleración del proceso de entrenamiento
El marco FTTE incluye tres innovaciones principales. En primer lugar, en lugar de enviar el modelo completo a todos los dispositivos, se transmiten solo un subconjunto de parámetros del modelo, lo que disminuye la necesidad de memoria en cada dispositivo.
Además, el servidor actualiza el modelo de forma asíncrona, acumulando actualizaciones hasta alcanzar una capacidad fija antes de proceder con la ronda de entrenamiento. Por último, los servidores ponderan las actualizaciones de cada dispositivo según el momento en que las recibieron, de modo que las actualizaciones más antiguas tengan menos impacto en el proceso de entrenamiento.
“Utilizamos este enfoque semi-asíncrono porque queremos involucrar a los dispositivos menos poderosos en el proceso de entrenamiento, pero sin que los dispositivos más potentes se queden inactivos por mucho tiempo”, explica Tenison.
Resultados y futuro de la investigación
Las pruebas realizadas con el marco FTTE en simulaciones con cientos de dispositivos heterogéneos han demostrado que el procedimiento de entrenamiento puede completarse un 81% más rápido que los enfoques estándar. Además, se ha reducido la sobrecarga de memoria en un 80% y la carga de comunicación en un 69%, manteniendo una precisión similar a otras técnicas.
Los investigadores también probaron FTTE en una pequeña red de dispositivos reales con capacidades computacionales variadas. “No todos tienen el último iPhone. En muchos países en desarrollo, los usuarios pueden tener teléfonos móviles menos potentes. Con nuestra técnica, podemos llevar los beneficios del aprendizaje federado a estos entornos”, añade Tenison.
En el futuro, los investigadores planean estudiar cómo su método podría mejorar el rendimiento personalizado de los modelos de IA en cada dispositivo, en lugar de centrarse en el rendimiento promedio del modelo. También desean realizar experimentos más amplios en hardware real. Este trabajo fue financiado en parte por una beca de doctorado de Takeda.
