La evolución del procesamiento de radar en automóviles ha llevado a nuevas soluciones que mejoran la autonomía de nivel 4. En este contexto, NVIDIA DRIVE se destaca como una plataforma innovadora que centraliza el procesamiento de radar, superando las limitaciones de los modelos tradicionales.
Los ingenieros de aprendizaje automático enfrentan un desafío: no pueden trabajar con imágenes RGB crudas equivalentes a las de las cámaras. En su lugar, utilizan salidas de radar con tasa de falsas alarmas constantes (CFAR), análogas a las detecciones de bordes en visión por computadora. Aunque el radar ha sido fundamental en la detección de vehículos, la arquitectura de computación y comunicación no ha evolucionado al ritmo de las tendencias en IA.
Transformación del procesamiento de radar
Con el procesamiento centralizado en NVIDIA DRIVE, los datos de convertidores analógicos a digitales (ADC) se trasladan a una plataforma de cómputo centralizada. Esta arquitectura utiliza un pipeline de software definido, acelerado por hardware dedicado como el NVIDIA Programmable Vision Accelerator (PVA), que maneja desde muestras crudas de ADC hasta nubes de puntos.
Este enfoque permite que los sistemas de IA de aprendizaje automático no estén limitados a detecciones de bordes, sino que utilicen imágenes de radar con alta fidelidad, mejorando en aproximadamente 100 veces la cantidad de información disponible.
Al eliminar el procesador de señal digital de alta potencia en el radar de computación en el borde, el radar centralizado regresa a sus raíces de radiofrecuencia (RF) con un circuito impreso simplificado. Esto reduce los costos de unidad en más del 30% y el volumen en aproximadamente un 20%, logrando un factor de forma ultra delgado.
Cómo la arquitectura centralizada mejora la percepción del radar
La mayoría de los radares automotrices de producción utilizan una arquitectura de procesamiento en el borde, donde cada sensor integra su propio sistema en un chip (SoC). Esto limita el ancho de banda entre el sensor y la plataforma de cómputo, pero también presenta desventajas significativas. Por ejemplo, las nubes de puntos enviadas contienen alrededor de 100 veces menos datos que las muestras de ADC crudas.
Además, el ciclo de trabajo del radar en procesamiento en el borde suele ser inferior al 50%, lo que resulta en tasas de cuadro más bajas, limitando la resolución temporal necesaria para modelos más grandes y conscientes del tiempo. Las restricciones de memoria y ancho de banda también hacen que se descarten productos intermedios de frecuencia, que son cruciales para los modelos recientes basados en aprendizaje.
El procesamiento centralizado permite a los fabricantes de equipos originales (OEM) habilitar redes más profundas y modelos conjuntos de múltiples sensores, impracticables en un pequeño SoC de radar. Los sistemas de nivel 4 están adoptando arquitecturas que aprenden directamente de datos de sensores crudos, beneficiándose de señales densas y de bajo nivel.
Integración y procesamiento de datos en NVIDIA DRIVE
El procesamiento centralizado aborda estas limitaciones al trasladar la cadena de procesamiento de señales del sensor a la plataforma DRIVE. Los sensores transmiten muestras de ADC crudas a la memoria DRAM de DRIVE a través de un enlace de alta velocidad. Todas las etapas de procesamiento de señales de radar se ejecutan en el hardware dedicado PVA, donde los desarrolladores controlan el pipeline completo.
Tres componentes permiten que esto funcione: sensores configurados para salida de ADC cruda, una pila de controladores que ingesta y sincroniza datos crudos en la memoria de DRIVE, y una biblioteca de cómputo basada en PVA que maneja toda la DSP de radar.
Proceso de transferencia y procesamiento de datos
El primer paso es transferir datos de ADC crudos del sensor a la memoria central de manera confiable. En nuestra configuración, se utilizan cinco sensores en el vehículo: un radar frontal ChengTech 8T8R y cuatro radares de esquina ChengTech 4T4R. Todos están configurados para output de datos crudos, generando un flujo de datos agregado de aproximadamente 540 MB/s.
El proceso de ingesta maneja esta tarea mediante controladores de radar a nivel de plataforma que configuran los sensores, transmiten cuadros de ADC a la memoria de DRIVE y presentan los cuadros de radar a través de una API consistente y agnóstica al hardware.
Ejecutando procesamiento de señales de radar en PVA
Una vez que los buffers de ADC crudos están en memoria, el procesamiento de señales se realiza completamente en PVA, liberando la GPU para tareas de IA. El pipeline incluye etapas estándar de DSP de radar, como el rango-FFT y el Doppler-FFT, estimando la velocidad radial.
El PVA está diseñado para este tipo de carga de trabajo, combinando unidades de procesamiento vectorial, un motor DMA dedicado y memoria local para ofrecer un rendimiento sostenido y de alto rendimiento.
El PVA permite un alto rendimiento con bajo consumo energético y puede ejecutarse de manera asíncrona junto a otros aceleradores en la plataforma DRIVE. Esto es especialmente beneficioso en una configuración de cinco radares, donde el uso de la GPU se reduce significativamente al ejecutar toda la biblioteca de radar en PVA.
Mejorando la percepción y fusión de datos
La centralización del radar en DRIVE no solo elimina los SoCs por sensor, sino que también amplía lo que los sistemas de percepción y IA pueden ver. Con los datos intermedios accesibles en DRAM, se pueden implementar modelos de fusión temprana que combinan características de radar y cámara, mejorando la cobertura y manejando condiciones adversas.
Este enfoque permite que los sistemas de nivel 4 traten el radar al mismo nivel que las cámaras y lidar, cerrando la brecha en la formación de modelos y el flujo de trabajo, aprovechando la infraestructura definida por software que DRIVE proporciona.
El futuro del radar en la percepción de L4
El procesamiento centralizado de radar en DRIVE busca corregir la limitación de que los radares actuales ofrecen una vista dispersa de señales más ricas. Al integrar el radar en un pipeline centralizado, se logra que la señal completa esté disponible, procesada en hardware dedicado y alineada con otros sensores.
Para comenzar con esta evaluación, es fundamental trabajar con el proveedor de radar para habilitar modos de salida cruda y colaborar en el desarrollo de modelos de percepción basados en radar. Además, se recomienda contactar a representantes de NVIDIA para acceder al PVA SDK y soluciones de PVA.
Agradecimientos
Gracias a todos los colaboradores que hicieron posible este avance.
