La industria de la inteligencia artificial está experimentando un aumento en la conciencia sobre los costos de implementación, lo que ha llevado a una necesidad urgente de reducir gastos. Aunque los modelos de código abierto ofrecen costos por token más bajos, seleccionar el modelo adecuado para cada tarea puede ser complicado.
Recientemente, Writer lanzó su nuevo modelo insignia denominado Palmyra X6, diseñado para abordar este desafío. Este modelo se basa en una variación post-entrenamiento del modelo GLM-5.2 de Z.ai y promete capacidades listas para la implementación a un costo significativamente menor. Se estima que los cambios en la infraestructura de la empresa, junto con este nuevo modelo, permitirán reducir los costos para sus clientes hasta un 50% en tareas básicas.
Mejoras en la infraestructura de Writer
Además del modelo, Writer también presentó mejoras significativas en su arnés estándar. Ambas características estarán disponibles para los clientes a partir de este jueves.
“Las empresas están cansadas de perseguir el próximo estándar”, comentó la CEO May Habib a TechCrunch. “Buscan una estabilización de costos, y parece que nadie puede ofrecer eso”.
Este nuevo enfoque se centra en tareas complejas y de múltiples pasos, ejecutadas de manera más rápida y utilizando menos tokens. Writer considera que la optimización del arnés es un factor clave para lograrlo.
Investigación y confianza en la tecnología AI
Un reciente estudio de investigadores de Writer respalda esta estrategia, al probar pequeñas modificaciones en la eficiencia del arnés en varios modelos. Los resultados mostraron que, en muchos casos, los cambios en el arnés eran una forma más confiable de reducir costos que la elección del modelo, con una disminución del 40% en promedio durante las pruebas.
“El arnés es el único componente cuya eficiencia se multiplica en cada modelo que una organización utiliza, tanto presente como futuro”, señalaron los investigadores.
Para los clientes de Writer, la experiencia sigue siendo independiente del modelo: Palmyra X6 coexistirá con otros modelos de Writer o modelos externos importados a través de Azure o Amazon Bedrock. Sin embargo, Habib también menciona que la necesidad de reducir costos está generando una desconfianza hacia los grandes laboratorios de inteligencia artificial, que tienen un incentivo financiero para aumentar el uso de tokens.
“La explosión de costos es sin precedentes para los clientes, y también lo es la medida en que los CIOs están perdiendo la fe en los laboratorios”, añadió Habib, agregando que estos laboratorios “no comprenden profundamente cómo ayudar a una empresa a beneficiarse de la IA”.
Cuando compras a través de los enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.
