Mejoras en vLLM: Enfoque en la corrección antes de ajustes en RL
La transición de vLLM de la versión 0 a la 1 se centra en la corrección de discrepancias en la generación de rollouts dentro del sistema de refuerzo. Se abordaron problemas en la forma en que se procesaban los logprobs y se implementaron correcciones en la alineación entre el backend y el comportamiento del entrenador. Estas mejoras aseguraron que se mantuvieran métricas consistentes, optimizando así el rendimiento del modelo en entornos de aprendizaje.
Inferact recauda $150 millones para impulsar su herramienta vLLM
Inferact, una startup surgida del proyecto de código abierto vLLM, ha recaudado $150 millones en financiamiento inicial, alcanzando una valoración de $800 millones. Co-liderada por Andreessen Horowitz y Lightspeed Venture Partners, su objetivo es comercializar tecnologías que optimizan la implementación de modelos de inteligencia artificial, atrayendo interés inversor en un mercado en crecimiento.
