En entornos de producción con Kubernetes, existe una brecha entre los requerimientos de los modelos y el tamaño de las GPU, lo que genera ineficiencias. Modelos ligeros de reconocimiento automático de voz (ASR) o síntesis de voz (TTS) pueden requerir solo 10 GB de VRAM, pero ocupan una GPU completa en implementaciones estándar de Kubernetes. El programador asigna un modelo a una o más GPUs, lo que dificulta compartir recursos entre diferentes modelos, lo que lleva a que costosos recursos informáticos permanezcan subutilizados.
Resolver esta situación no solo implica una reducción de costos, sino también optimizar la densidad del clúster para atender a más usuarios en el mismo hardware de alta calidad. Este artículo detalla cómo implementar y evaluar estrategias de particionamiento de GPU, específicamente NVIDIA Multi-Instance GPU (MIG) y time-slicing para aprovechar al máximo los recursos computacionales.
Utilizando una pipeline de voz AI de grado de producción como campo de prueba, demostramos cómo combinar modelos para maximizar el retorno de inversión de la infraestructura, manteniendo una fiabilidad superior al 99% y estrictas garantías de latencia.
