Científicos e ingenieros que diseñan y construyen instalaciones de investigación científica únicas enfrentan desafíos similares. Estos incluyen la gestión de grandes volúmenes de datos que superan la capacidad actual de la infraestructura computacional, lo que dificulta la obtención de conocimientos científicos y la conducción de experimentos en tiempo real. Estas dificultades obstaculizan el impacto de los descubrimientos científicos y ralentizan el avance del conocimiento.
En NVIDIA, un equipo trabaja con estas instalaciones para desarrollar soluciones innovadoras basadas en la computación paralela y distribuida. Este artículo presenta dos ejemplos destacados de cómo se formalizan problemas complejos de física en acertijos matemáticos que se benefician enormemente de la computación científica acelerada por GPU, en colaboración con el Departamento de Energía de EE. UU.: Observatorio Vera C. Rubin y el Linac Coherent Light Source II (LCLS-II).
Instalaciones de investigación a gran escala
Estas instalaciones de investigación únicas y a gran escala tardaron una década en construirse y permiten descubrimientos científicos sin precedentes para servir a comunidades científicas en todo el mundo. La computación acelerada de NVIDIA, junto con las bibliotecas de Python aceleradas por GPU CuPy y cuPyNumeric, están habilitando la retroalimentación en tiempo real para la conducción de experimentos, algo que antes era imposible. El equipo aprovechó el análisis de imágenes en espacio y tiempo acelerado (ASTIA) para procesar “películas” en tiempo real del cielo del hemisferio sur y el Análisis de rayos X para imágenes a nanoscale (XANI) utilizando cuPyNumeric y CuPy, logrando así la conducción en tiempo real de experimentos en LCLS II.
Los análisis de datos que anteriormente requerían nueve meses ahora se completan en solo cuatro horas.
Astronomía y ciencia de rayos X ultrarrápidos
El avance experimental ha permitido tasas de adquisición de datos extremadamente altas que capturan más objetos que nunca, en sus escalas de tiempo y longitud intrínsecas.
En el Observatorio Vera C. Rubin, por primera vez, astrofísicos y astrónomos pueden capturar todo el cielo del hemisferio sur, descubriendo más de 2,000 nuevos asteroides por noche utilizando una cámara de 3.2 mil millones de píxeles. Mientras tanto, en LCLS II, los científicos y ingenieros dirigen electrones, que se convierten en fotones a lo largo de un túnel de 3 km, para crear películas de materiales a nivel atómico utilizando pulsos de rayos X ultrarrápidos.
Astrofísica: La cámara LSST del Observatorio Vera C. Rubin producirá 20 terabytes de imágenes por noche y funcionará en modo continuo durante 10 años para mapear todo el cielo del hemisferio sur cada tres o cuatro noches. Durante un mes o más, la cámara alcanza una acumulación de datos en petabytes que se utilizarán para crear una película de lapso de tiempo de 10 años del universo.
Ciencia de rayos X: LCLS-II produce los pulsos de rayos X más potentes, hasta 1 millón de ráfagas por segundo, aumentando la luminosidad en comparación con el LCLS original por un factor de 10,000. Esto permite mapear los movimientos más rápidos y pequeños de electrones y átomos dentro de la materia. LCLS-II genera datos de rayos X a escala de petabytes en días para crear películas de fenómenos cuánticos y proporcionar conocimientos sin precedentes sobre el comportamiento de la materia.
Desafíos comunes y soluciones
La demanda de análisis en tiempo real de conjuntos de datos masivos requiere tanto velocidad de computación como memoria más allá de los sistemas tradicionales. La computación acelerada proporciona la velocidad de cálculo, pero aún se deben utilizar sistemas distribuidos para procesar el tamaño increíble de estos problemas. Al utilizar sistemas HPC con aceleración y redes especializadas, los científicos pueden satisfacer estas demandas.
Hacia la automatización completa del flujo de trabajo: Ambas instalaciones avanzan más allá del análisis por lotes, favoreciendo tuberías modulares y altamente paralelas que se ejecutan de manera confiable sin importar el tamaño del experimento. El movimiento, transformación y extracción de datos se automatizan de tal manera que la supervisión humana se centra en la hipótesis y la interpretación, en lugar de la intervención manual o la afinación de IT.
Soluciones: La computación acelerada de NVIDIA, junto con las bibliotecas de Python aceleradas por GPU CuPy y cuPyNumeric, están habilitando la retroalimentación en vivo para la conducción de experimentos, algo que antes era imposible debido a los cálculos excesivamente largos. Ahora, al ejecutar estos mismos flujos de trabajo de análisis científico en NVIDIA DGX Grace Hopper y NVIDIA Blackwell, NVIDIA DGX Spark, NVIDIA RTX PRO, los investigadores están obteniendo nuevas ventajas para el rendimiento y la colaboración.
