El apilamiento de percepción se adapta a cada vehículo que lo transporta. Al mover un software de un SUV a un sedán, por ejemplo, su percepción del entorno cambia. Esto se debe a variaciones en la colocación de sensores, calibración, campos de visión y geometría del cuerpo, entre otros factores. Un semáforo puede aparecer en un lugar distinto del marco y un bordillo puede volverse más difícil de detectar. Por tanto, al expandir un sistema de conducción autónoma a nuevas variantes de vehículos, los desarrolladores deben tener en cuenta estas diferencias, incluso si el apilamiento de percepción subyacente es el mismo.
La recopilación y etiquetado de un nuevo conjunto de datos del mundo real para cada variante de vehículo es costosa y, a menudo, no es posible al inicio del desarrollo. Las nuevas flotas pueden no estar disponibles, y ciertas condiciones raras no siempre se pueden capturar. Sin embargo, los datos de conducción del mundo real son esenciales para validar el rendimiento del sistema. En consecuencia, los datos sintéticos pueden ayudar a los equipos a adaptar modelos antes de tener un conjunto de datos completo para la variante de vehículo objetivo.
Uso de NVIDIA Omniverse NuRec
El desafío de adaptación de la variante de vehículo consiste en preparar el software de percepción para un automóvil que puede no existir aún y escalar ese software para variantes de plataforma sin recopilar y etiquetar un gran conjunto de datos para cada una.
NVIDIA Omniverse NuRec facilita este proceso. Inicia con grabaciones de conducción del mundo real, reconstruye cada escena y renderiza nuevas vistas de cámara para una configuración de vehículo objetivo.
Capacidades de NuRec para la adaptación de variantes
NuRec utiliza el *splatting* gaussiano en 3D para reconstruir entornos del mundo real a partir de datos de sensores y renderizarlos para simulación. Para la adaptación de la variante de vehículo, NuRec reconstruye una conducción real capturada por un vehículo existente y renderiza nuevas transmisiones de cámara desde los puntos de vista del vehículo objetivo.
Entre las capacidades de NuRec, destacan dos especialmente útiles para la adaptación de variantes de vehículos:
- Síntesis de vistas novedosas: NuRec puede renderizar la escena con gsplat, proyectando los gausianos a través del modelo de cámara especificado. Esto permite a los usuarios modificar extrínsecos, intrínsecos, campo de visión y modelo de lente.
- Datos de escena reutilizables y anotaciones: La escena reconstruida mantiene las trayectorias originales del dispositivo, calibraciones por cámara y datos de mapeo. Estos activos pueden alinearse o adaptarse para etiquetas como objetos, carriles y límites de carretera en las vistas recién renderizadas.
