Si estás trabajando en un sistema de RAG (Generación Aumentada por Recuperación), probablemente te hayas encontrado con un obstáculo: todo funciona… hasta que deja de hacerlo. Los modelos de incrustación de propósito general están diseñados para comprender internet, pero no tus contratos, registros de fabricación, formulaciones químicas propietarias o taxonomía interna. Capturan similitudes semánticas amplias, pero no entienden las distinciones finas que son relevantes en tu dominio.
El ajuste fino de un modelo de incrustación puede mejorar el rendimiento de tu canal de recuperación cuando los modelos estándar no logran captar las sutilezas específicas del dominio. A pesar de lo crítico que son las incrustaciones para el rendimiento de RAG, el proceso sigue siendo sorprendentemente fragmentado, las habilidades requeridas son especializadas y la inversión de tiempo es considerable.
Transformación de Modelos de Incrustación
Con una sola GPU y menos de un día de tiempo de entrenamiento, puedes transformar un modelo de incrustación de propósito general en uno que realmente entienda tu dominio, sin necesidad de etiquetado manual. Para facilitar el proceso, también estamos lanzando un conjunto de datos de entrenamiento sintético generado a partir de la documentación pública de NVIDIA utilizando esta misma metodología. Con estos datos, observamos más de un 10% de mejora en Recall@10 y NDCG@10.
Atlassian aplicó esta receta para afinar su conjunto de datos JIRA, aumentando el Recall@60 de 0.751 a 0.951, una mejora del 26%, utilizando una sola GPU.
Recursos Adicionales
Enlaces Rápidos al Conjunto de Datos y Códigos:
Proyectos de Código Abierto Integrados
Recetas de Proyectos de Código Abierto:
- NeMo Data Designer para generación de datos sintéticos
- NeMo Automodel para entrenamiento de modelos de incrustación
- BEIR para evaluación de recuperación de información
- NeMo Export-Deploy para conversión a ONNX/TensorRT
- NVIDIA NIM para servicio de inferencia en producción
