Los agentes de inteligencia artificial consumen entre cinco y diez veces más tokens que los chatbots, según Marc Bolitho, director ejecutivo de Tensordyne. La empresa sostiene que su sistema de inferencia Napier puede mejorar la eficiencia, aunque sus proyecciones todavía requieren pruebas independientes.
El coste de ejecutar agentes de IA
IDC proyecta que en 2029 habrá más de mil millones de agentes de IA en funcionamiento, alrededor de 40 veces la cifra de 2025. Según esa previsión, consumirán 3,7 billones de tokens y llamadas a la API al día.
En una empresa, el coste no depende únicamente del precio de cada llamada. Si un agente tramita devoluciones, las excepciones, las verificaciones adicionales y los casos que requieren intervención de empleados también influyen en el gasto.
Por tanto, antes de ampliar una implementación, el minorista debe considerar tanto el procesamiento como la asistencia humana. La factura de un chatbot tampoco es necesariamente un buen indicador del coste de un agente más ambicioso.
Entrenamiento, inferencia y competencia
El entrenamiento permite que un modelo aprenda patrones a partir de datos; la inferencia ocurre cuando se utiliza ese modelo para realizar tareas. El entrenamiento supone una inversión inicial que puede repetirse al actualizar el modelo, mientras que la inferencia genera costes con cada uso.
Una empresa que contrata un servicio de IA quizá no entrene su propio modelo, pero el proveedor debe recuperar los costes de inferencia mediante el precio. Además, el hardware que sirve para entrenar un modelo no determina automáticamente cuál es la mejor plataforma para ejecutarlo.
Bolitho sostiene que Nvidia tiene una ventaja mayor en el entrenamiento y que la inferencia deja más margen para competir en coste y velocidad. Para comparar opciones, las empresas pueden solicitar pruebas de precisión, tiempo de respuesta y coste total para su carga de trabajo.
La propuesta de Tensordyne
El procesador Napier de Tensordyne utiliza logaritmos para convertir ciertas multiplicaciones en sumas y forma parte de un sistema de inferencia que combina computación, memoria y redes. La empresa afirma que este método reduce el área del chip y el consumo energético necesarios para el cálculo.
Tensordyne afirma que, en comparaciones publicadas con sistemas Nvidia Blackwell, Napier alcanza hasta 17 veces más tokens por vatio y 13 veces más rendimiento. Son proyecciones de la empresa, no resultados verificados de forma independiente ni reducciones equivalentes en la factura del cliente.
La compañía también se presenta como la primera en comercializar completamente un sistema numérico logarítmico para inferencia de IA. La noticia contextualiza esa afirmación señalando que Bill Dally, científico jefe de Nvidia, ya había mencionado el potencial de la computación logarítmica.
Cómo evaluar el gasto y los resultados
Para valorar un servicio, el minorista debería calcular el coste operativo total por devolución resuelta según sus estándares. Ese cálculo puede incluir integración, mantenimiento, supervisión, intentos fallidos y el trabajo de los empleados que corrigen errores o completan casos pendientes.
Además, la empresa debería seguir la frecuencia con que los clientes vuelven a contactar con atención al cliente. Una interacción barata puede acabar siendo costosa si no resuelve el problema y obliga al cliente a repetirla.
Doug Levin, investigador ejecutivo de Harvard Business School, recomienda una contabilidad más clara para las inversiones en IA. Entre las preguntas que plantea están dónde aparece ese gasto en el presupuesto, cuánto cuesta cada tarea completada y quién responde por el gasto.
También propone aclarar qué despliegues requieren aprobación y con qué frecuencia el comité de auditoría recibe informes sobre costes. Estas cuestiones pueden ayudar a observar cómo cambia el gasto cuando un agente asume tareas más complejas.
Pruebas antes de ampliar la implementación
En el momento de la entrevista, Bolitho afirmó que el rendimiento proyectado de Napier se compararía con simulaciones. La noticia señala que harán falta pruebas independientes en sistemas terminados para determinar si las ventajas se mantienen con cargas de trabajo realistas y sin perder precisión.
Por ello, un minorista que evalúe esta tecnología debería probar casos complejos, como compras disputadas y excepciones a las políticas. Antes de ampliar su uso, debería exigir pruebas de que la mejora en inferencia reduce el coste total por devolución correctamente resuelta y mantiene el nivel de servicio esperado.
Artículo traducido de Forbes.com.
