China ha llevado a los tribunales una cuestión crucial en la era de la inteligencia artificial (IA): ¿quién es responsable cuando la IA genera contenido ilegal? Este caso, considerado histórico, implica a los creadores de la aplicación AlienChat, un chatbot diseñado para ofrecer compañía, que ha sido condenado por producir contenido obsceno con ánimo de lucro.
La decisión, que ha sido apelada, abre un debate en el ámbito judicial chino sobre los límites legales de las nuevas tecnologías digitales.
Detalles de AlienChat y su funcionamiento
AlienChat, lanzado en la primavera de 2023, ofrecía acompañamiento emocional a través de personajes virtuales, que los usuarios podían crear o elegir. Su funcionamiento se basaba en grandes modelos de lenguaje (LLM) similares a ChatGPT, permitiendo mantener diálogos continuos. Sin embargo, algunos usuarios denunciaron que la IA guiaba las conversaciones hacia temas sexuales explícitos, a menudo con elementos de violencia o dominación.
Aunque las interacciones eran privadas, existía un ranking de personajes populares y recompensas en moneda virtual para los creadores más activos. Este diseño incentivaba intercambios prolongados, especialmente entre usuarios que pagaban por la suscripción.
Investigación y condenas
En primavera de 2024, la policía inició una investigación penal contra los desarrolladores de AlienChat tras recibir denuncias de usuarios que afirmaban que el contenido afectaba negativamente su experiencia. Antes de cesar operaciones, la aplicación tuvo 116.000 usuarios, de los cuales 24.000 eran suscriptores de pago.
Un informe policial reveló que de 150 usuarios analizados, 141 mantuvieron conversaciones con contenido obsceno. En total, 3.618 fragmentos de 12.495 fueron clasificados como pornográficos. En septiembre, el Tribunal Popular del Distrito de Xuhui (Shanghái) dictaminó que AlienChat había generado una gran cantidad de contenido obsceno, desestimando que se tratara de episodios aislados.
Implicaciones legales y sociales
El tribunal consideró que los desarrolladores, al tener control técnico sobre el sistema, eran responsables del contenido generado. Se aplicó el delito de “producción” de material obsceno, en lugar de “difusión”, dado que las conversaciones eran privadas.
China mantiene estrictas leyes contra la pornografía, que penalizan la producción y difusión de material obsceno. El principal desarrollador de AlienChat fue condenado a cuatro años de prisión, mientras que un técnico recibió 18 meses de cárcel. El tribunal determinó que las modificaciones hechas al sistema permitieron la generación de contenido sexual.
Apelaciones y futuro del caso
En la actualidad, el caso se encuentra en apelación ante el Tribunal Popular Intermedio Número 1 de Shanghái. Los acusados cuestionan la relevancia de las modificaciones en los prompts y la intención de crear contenido pornográfico. Durante la primera vista, se decidió posponer el fallo, esperando dictámenes periciales sobre aspectos tecnológicos.
Este caso ha suscitado un intenso debate entre juristas y la sociedad civil. Algunos advierten sobre las implicaciones para la IA generativa, mientras que otros abogan por una regulación más estricta para proteger a los menores de contenido sexualizado y violento.
