Anthropic llevó a cabo un experimento donde creó un mercado clasificado en el que agentes de inteligencia artificial actuaron como compradores y vendedores, realizando acuerdos reales por productos y dinero.
La empresa reconoció que esta prueba, denominada Project Deal, fue solo un «experimento piloto con un grupo de participantes autoseleccionados» de 69 empleados, quienes contaron con un presupuesto de $100 (repartido en tarjetas de regalo) para adquirir artículos de sus compañeros.
A pesar de ello, Anthropic afirmó que quedó impresionada por el funcionamiento de Project Deal, logrando 186 acuerdos que sumaron más de $4,000 en valor.
Detalles del experimento
La empresa llevó a cabo cuatro mercados distintos con diferentes modelos. Uno de estos fue «real», donde todos los participantes estaban representados por el modelo más avanzado de la compañía y los acuerdos se cumplieron tras el experimento. Los otros tres fueron utilizados para estudios.
Según Anthropic, cuando los usuarios son representados por modelos más avanzados, obtienen «resultados objetivamente mejores». Sin embargo, los usuarios no parecieron notar esta disparidad, lo que plantea la posibilidad de «gaps en la calidad del agente» donde «las personas en desventaja podrían no darse cuenta de que están en peores condiciones».
Además, las instrucciones iniciales dadas a los agentes no parecieron influir en la probabilidad de venta ni en los precios negociados.
