Entrenar un modelo de inteligencia artificial requiere una gran cantidad de contenido textual. Esto incluye millones de textos que permiten al modelo analizar y replicar la estructura del lenguaje. Se utilizan páginas web, documentos oficiales, transcripciones de vídeos y comentarios en foros, además de libros físicos. Anthropic, por ejemplo, escaneó millones de libros físicos para desarrollar su asistente de IA, Claude, destruyendo las copias para aumentar la velocidad y efectividad del proceso.
El proceso fue liderado por Tom Turvey, quien previamente había dirigido el proyecto Google Books. A diferencia de este último, que utilizaba un método no destructivo para escanear libros, Anthropic optó por una técnica que implicaba destruir la encuadernación para escanear el contenido de manera más rápida. Posteriormente, el papel se reciclaba.
Contratado en febrero de 2024, Turvey tenía como objetivo obtener «todos los libros del mundo» para escanearlos. Aunque no está claro si logró esta meta, documentos judiciales recientes revelan la magnitud del proyecto, ya que Anthropic acumulaba cientos de miles de ejemplares adquiridos en librerías de segunda mano y bibliotecas.
Impacto de los datos de calidad
La calidad de los datos en el entrenamiento de un modelo de lenguaje es crucial. Los modelos formados con libros y artículos bien editados generan respuestas más coherentes y precisas que aquellos que utilizan textos de menor calidad, como comentarios aleatorios en redes sociales.
Las editoriales son las que controlan el contenido de calidad que las empresas de IA necesitan, aunque a menudo no están dispuestas a licenciarlo. Sin embargo, en EE.UU., se considera que una vez que se compra un libro físico, se puede hacer lo que se desee con esa copia, incluyendo la digitalización para uso personal.
Estrategias de adquisición de contenido
Siguiendo el camino de otras empresas de IA, Anthropic eligió inicialmente un enfoque más sencillo. Según documentos judiciales, el CEO Dario Amodei propuso utilizar libros electrónicos pirateados para evitar el «tedioso proceso de negociaciones de licencias» con editoriales.
A principios de 2021, el cofundador Ben Mann descargó Books3, una biblioteca online de 196.640 libros, compuesta por copias no autorizadas. También descargó cinco millones de libros del repositorio Library Genesis (LibGen) y, en julio de 2022, dos millones adicionales de Pirate Library Mirror (PiLiMi).
En 2024, conforme aumentaba el debate sobre el uso de contenido protegido en el entrenamiento de modelos de lenguaje, la empresa comenzó a considerar la opción de adquirir copias físicas de los libros para escanearlos.
Con la llegada de Turvey, Anthropic contactó a grandes distribuidores para realizar compras masivas de libros impresos. El proceso era sistemático: los empleados desmantelaban los libros, cortaban las páginas y las escaneaban, desechando los originales. Cada libro se convertía en un PDF con imágenes de las páginas escaneadas y texto legible por máquinas.
A pesar de que la mayoría de los libros actuales están disponibles en formato digital, estos suelen tener licencias que impiden la extracción de datos, lo que justifica el uso de copias físicas.
Este proyecto ha sido revelado gracias a un caso judicial de Anthropic con tres autores estadounidenses por el uso no autorizado de sus obras. Aunque el juez, William Alsup, dictaminó que el escaneo destructivo era un uso justo, también determinó que la empresa no podía utilizar copias pirateadas.
Finalmente, Anthropic acordó pagar 1.500 millones de dólares para resolver esta demanda colectiva, un acuerdo sin precedentes por derechos de autor en EE.UU., que cubre aproximadamente 500.000 libros a unos 3.000 dólares por obra.
