El aprendizaje profundo permite la referencia

Nature Communications volumen 13, Número de artículo: 3297 (2022) Citar este artículo

7567 Accesos

5 citas

37 Altmetric

Detalles de métricas

La imagen volumétrica por microscopía de fluorescencia a menudo está limitada por la resolución espacial anisotrópica, en la que la resolución axial es inferior a la resolución lateral. Para abordar este problema, presentamos una técnica de súper resolución no supervisada habilitada para el aprendizaje profundo que mejora las imágenes anisotrópicas en microscopía de fluorescencia volumétrica. En contraste con los enfoques de aprendizaje profundo existentes que requieren imágenes objetivo de alta resolución coincidentes, nuestro método reduce en gran medida el esfuerzo de ponerlo en práctica, ya que el entrenamiento de una red requiere solo una pila de imágenes 3D, sin un conocimiento previo de la formación de la imagen. proceso, registro de datos de entrenamiento o adquisición separada de datos objetivo. Esto se logra sobre la base de la red antagónica generativa coherente con el ciclo impulsada por el transporte óptima que aprende de una combinación no emparejada entre imágenes 2D de alta resolución en el plano de la imagen lateral e imágenes 2D de baja resolución en otros planos. Usando microscopía confocal de fluorescencia y microscopía de hoja de luz, demostramos que la red entrenada no solo mejora la resolución axial sino que también restaura los detalles visuales suprimidos entre los planos de imágenes y elimina los artefactos de imágenes.

Las imágenes de fluorescencia tridimensionales (3D) revelan información estructural importante sobre una muestra biológica que normalmente no se puede obtener a partir de una imagen bidimensional (2D). Los avances recientes en los métodos de limpieza de tejidos1,2,3,4,5 y la microscopía de fluorescencia de hoja de luz (LSFM)6,7,8,9 han permitido una visualización 3D optimizada de tejido biológico a una escala y velocidad sin precedentes, a veces incluso en tamaños más finos. detalles. No obstante, la resolución espacial en microscopía de fluorescencia 3D aún está lejos de la perfección; una resolución isotrópica sigue siendo difícil de lograr.

La anisotropía en microscopía de fluorescencia generalmente se refiere a más borrosidad en el plano de imagen axial. Tal desequilibrio espacial en las resoluciones se puede atribuir a muchos factores, incluida la difracción de la luz, el submuestreo axial y el grado de corrección de la aberración. Incluso para la microscopía de superresolución10, que en esencia supera los límites de difracción de la luz, como la microscopía de iluminación estructural 3D (3D-SIM)11,12 o la microscopía de agotamiento de emisión estimulada (STED)13, hacer coincidir la resolución axial con la resolución lateral sigue siendo un problema. reto14. Si bien LSFM, donde la ruta de excitación de fluorescencia no se alinea necesariamente con la ruta de detección, proporciona una mejora sustancial a la resolución axial9, es difícil lograr una función de dispersión de punto (PSF) verdaderamente isotrópica para la mayoría de las técnicas contemporáneas de microscopía de hoja de luz, y la resolución axial suele ser 2 o 3 veces peor que la resolución lateral15,16,17.

En los últimos años de restauración de imágenes en microscopía de fluorescencia, el aprendizaje profundo surgió como un enfoque alternativo basado en datos para reemplazar los algoritmos clásicos de deconvolución. El aprendizaje profundo tiene la ventaja de capturar la complejidad estadística de un mapeo de imágenes y permitir la transformación de imágenes de un extremo a otro sin tener que ajustar minuciosamente los parámetros a mano. Algunos ejemplos incluyen mejorar la resolución a través de diferentes modalidades de imágenes y tamaños de apertura numérica18, hacia la isotropía19,20 o menos ruido19. Si bien estos métodos brindan cierto nivel de flexibilidad en el funcionamiento de la microscopía, estos métodos basados en el aprendizaje profundo deben asumir cierto conocimiento de un dominio de datos de destino para el entrenamiento de la red. Por ejemplo, para la reconstrucción isotrópica, Weigert et al19,20. utilizó una estrategia de aprendizaje supervisado de emparejar imágenes laterales de alta resolución con imágenes axiales de baja resolución que estaban borrosas con un modelo PSF explícito. Zhang et al21. implementó una técnica de súper resolución basada en GAN con un modelo de degradación de imagen tomado del microscopio. En ambos casos, el proceso de degradación de la imagen no se puede aprender dinámicamente, y tal suposición de un proceso de degradación de la imagen fijo requiere que el éxito de la restauración de la imagen confíe en la precisión de los antecedentes y agrega otra capa de operación a los microscopistas. Además, si la suposición inicial de la degradación de la imagen no es correcta, el rendimiento en un conjunto de datos del mundo real puede verse limitado. Especialmente para la obtención de imágenes de fluorescencia volumétrica de alto rendimiento, las condiciones de obtención de imágenes a menudo están sujetas a fluctuaciones y las características visuales de las muestras se consideran diversas. En consecuencia, la suposición uniforme de información previa a lo largo de una imagen de gran volumen podría resultar en un ajuste excesivo del modelo entrenado y exacerbar el rendimiento y la confiabilidad de la restauración de la imagen.

A la luz de este desafío, el enfoque reciente de aprendizaje no supervisado utilizando una red adversaria generativa consistente con el ciclo (cycleGAN)22 es una dirección prometedora para reducir el espacio de solución para problemas inversos mal planteados en óptica23,24. Específicamente, es ventajoso en la práctica ya que no requiere pares de datos coincidentes para el entrenamiento. Cuando se formula como un problema de transporte óptimo entre dos distribuciones de probabilidad23,25, la microscopía de desconvolución basada en el aprendizaje no supervisado puede transportar con éxito las distribuciones de imágenes de microscopía borrosas a imágenes de microscopía de alta resolución al estimar la PSF borrosa y desconvolucionar con ella24. En consecuencia, es menos propenso a generar características artificiales en comparación con GAN26 como se analizó teóricamente en un trabajo anterior23. Además, si se conoce parcial o completamente la estructura de la PSF, uno de los generadores podría ser reemplazado por una operación simple, lo que reduce significativamente la complejidad del cicloGAN y hace que el entrenamiento sea más estable24. No obstante, uno de los problemas técnicos pendientes es la dificultad de obtener volúmenes adicionales de imágenes de microscopía de alta resolución en condiciones experimentales similares, como perfiles de ruido y condiciones de iluminación, de modo que puedan usarse como una distribución objetivo inigualable para el transporte óptimo. En particular, obtener un conjunto de datos de entrenamiento de referencia de este tipo con una resolución isotrópica 3D sigue siendo un desafío en la práctica.

Para abordar este problema, aquí presentamos un marco de aprendizaje profundo no supervisado que mejora ciegamente la resolución axial en microscopía de fluorescencia volumétrica, dada una sola imagen de entrada 3D. La red se puede entrenar con una pila de imágenes que tiene una resolución espacial anisotrópica sin necesidad de volúmenes de referencia 3D isotrópicos de alta resolución. De este modo, se evita por completo la necesidad de adquirir conjuntos de datos de entrenamiento adicionales en condiciones experimentales similares. Nuestro marco aprovecha la formación de representaciones abstractas de objetos que se visualizan de manera coherente en vistas laterales y axiales: por ejemplo, instantáneas 2D de neuronas para reconstruir una apariencia neuronal 3D generalizada. Luego, nuestro esquema de aprendizaje no supervisado utiliza las representaciones abstractas para desacoplar solo la información relevante para la resolución de las imágenes, así como los detalles borrosos o submuestreados en las imágenes axiales. Esta estrategia se traduce en una ventaja en aplicaciones para imágenes de volumen a gran escala, como toda la región cortical de un cerebro. La Figura 1a ilustra nuestro enfoque. Demostramos el éxito del marco en simulación, microscopía de fluorescencia confocal (CFM) y microscopía de hoja de luz abierta (OT-LSM). En el experimento CFM, abordamos la anisotropía que se debe principalmente a la difracción de la luz y al submuestreo axial. Comparamos los resultados con una imagen 3D que se tomó por separado en un ángulo perpendicular. En el experimento OT-LSM, nuestro objetivo era probar si nuestro método puede abordar la anisotropía que se rige por una combinación de múltiples factores de degradación de la imagen, muchos de los cuales no se modelan simplemente con una convolución PSF: por ejemplo, artefactos de movimiento de la vibración de la muestra por la deriva escénica. En todos los casos, nuestro enfoque de superresolución basado en el aprendizaje profundo sin referencias fue eficaz para mejorar la resolución axial, al tiempo que preservaba la información en el plano lateral y también restauraba las microestructuras suprimidas.

a En la microscopía de fluorescencia, las imágenes en 3D a menudo están sujetas a la anisotropía que surge de la difracción de la luz y el submuestreo en la dirección de exploración. Nuestro enfoque para la superresolución de una sola muestra consiste en aprender transformaciones bidireccionales, G y F, entre la variedad de alta resolución y la variedad de baja resolución, mediante el muestreo de cortes laterales y axiales o MIP laterales y axiales. b Esquema del marco. Las redes generativas, G y F, aprenden el mapeo de transformación específico de datos entre imágenes de baja resolución e imágenes de alta resolución al aprender a superresolver imágenes axiales y revertir el proceso, respectivamente. G y F usan capas de convolución 3D, y las redes discriminativas, DX y DY, impulsan el proceso de aprendizaje para G y F y usan capas de convolución 2D. La inferencia en un volumen a gran escala se lleva a cabo iterativamente en subvolúmenes con bloques vecinos superpuestos. c Resultados de deconvolución ciega por nuestro método, con ROI ampliadas (mostradas como cuadros de puntos amarillos) adicionalmente para (d) y (h). d Evaluación de la precisión de la reconstrucción en 2D. Las señales se segmentaron desde el fondo utilizando el método de Otsu, que se muestra con PSNR y SSIM para la cuantificación. e Visualización 3D de inferencias a gran escala. Se seleccionó una región aleatoria de 7003 vóxeles como volumen de prueba para calcular PSNR y MS-SSIM. La barra de color representa la intensidad de la señal normalizada entre 0 y 1. f Comparación de rendimiento usando PSNR y MS-SSIM en el volumen de prueba bajo diferentes condiciones de imagen: desenfoque axial y submuestreo en el eje z. El submuestreo se realiza después del desenfoque gaussiano axial con una desviación estándar de 4. g Comparación de rendimiento utilizando SSIM y PSNR de imágenes MIP. Se tomaron secciones transversales (n = 47 muestras independientes que no se superponen) con 15 profundidades de corte para generar imágenes MIP. "Lateral" hace referencia a las secciones laterales del volumen, que se giraron perpendicularmente antes del desenfoque para proporcionar una referencia de alta resolución. h Mejora de la resolución por discrepancia de FWHM con la realidad del terreno, con perfiles de intensidad transversales de líneas marcadas en ROI ampliadas de c. Medimos los desajustes de FWHM de objetos tubulares (n = 317 muestras independientes que no se superponen) con respecto a la verdad del terreno. La reconstrucción por la salida de la red muestra una mejora notable en la precisión de la reconstrucción. Para calcular los FWHM, los perfiles de intensidad se ajustaron a funciones gaussianas. Para los diagramas de caja trazados en los paneles (g) y (h), el cuadro muestra el rango intercuartil (IQR) entre el primer cuartil (Q1) y el tercer cuartil (Q3) del conjunto de datos, con la marca central (horizontal línea) mostrando la mediana y los bigotes indicando el mínimo (Q1-1.5*IQR) y el máximo (Q3+1.5*IQR). Los valores atípicos están representados por marcadores en forma de diamante más allá de los bigotes.

La arquitectura general del marco se inspiró en las redes antagónicas generativas coherentes con el ciclo impulsadas por el transporte óptimas (OT-cycleGAN)23. La Fig. 1b ilustra el esquema de aprendizaje del marco. Empleamos dos redes generativas 3D (G y F en la Fig. 1b) que aprenden a generar una imagen 3D isotrópica a partir de una imagen 3D anisotrópica (la ruta de avance o superresolución) y viceversa (la ruta de retroceso o desenfoque), respectivamente. Para frenar el proceso generativo de estas redes, empleamos dos grupos de redes discriminativas 2D (DX y DY en la Fig. 1b). Nuestra innovación clave proviene de una orquestación efectiva del aprendizaje de las redes basada en cómo las redes discriminatorias muestrean durante la fase de aprendizaje. En el camino hacia adelante, las redes discriminatorias de DX comparan imágenes de proyección axial 2D de la imagen 3D generada con imágenes laterales 2D de la imagen 3D real, al tiempo que conservan la información de la imagen lateral. Las imágenes de proyección del volumen generado se obtienen como proyecciones de máxima intensidad (MIP) con una profundidad aleatoria dentro de un rango predeterminado y están diseñadas para emular la información visual lateral proyectada desde los cortes adyacentes. Este emparejamiento de muestras para entrenar las redes discriminativas alienta a la red generativa 3D G a mejorar solo la resolución axial en la salida de volumen 3D. Por otro lado, las redes discriminativas de DY en el camino hacia atrás comparan imágenes 2D de la imagen 3D reconstruida con imágenes 2D de la imagen 3D real en cada plano ortogonal correspondiente; la red generativa 3D F aprende a revertir el proceso de restauración de la imagen. La pérdida de consistencia del ciclo estabiliza el proceso de aprendizaje y guía a G y F a ser mutuamente inversos. Al lograr el balance de convergencia de pérdidas en forma de un juego mini-max26 por este conjunto de redes discriminativas y generativas, la red G está entrenada para aprender la transformación de la resolución anisotrópica original a la resolución isotrópica deseada.

Inicialmente simulamos la anisotropía en una imagen sintética 3D y probamos nuestro marco para la tarea de desconvolución ciega. El volumen sintético, de 900 × 900 × 900 vóxeles, contiene 10 000 objetos tubulares que fueron colocados aleatoriamente y deformados por un campo de deformación basado en una rejilla elástica 3D. Este modelo de simulación permite que los tubos se entrelacen entre sí de forma no lineal y es ideal para simular muestras biológicas con estructuras tubulares de malla compleja, como microtúbulos o redes neuronales. Luego, la imagen se convolucionó con un núcleo gaussiano que se difumina solo axialmente con una desviación estándar de 4. La Fig. 1 complementaria visualiza este proceso de generación. Las redes se entrenaron usando una muestra de imagen y, durante el entrenamiento y la inferencia, usamos mini lotes con subregiones de 1203 a 1443 vóxeles. Después de la inferencia, las subregiones se apilaron nuevamente en el espacio de la imagen original (Fig. 1b).

La Figura 1c-h muestra los resultados de la deconvolución ciega por el método propuesto. Después de la deconvolución ciega, la salida de la red resolvió el intrincado enredo de los tubos, que previamente estaba enmascarado por el desenfoque axial, como se ilustra visualmente en las regiones de interés (ROI) en la Fig. 1c, e. Para cuantificar la mejora de la resolución a gran escala, seleccionamos aleatoriamente una región de 700 × 700 × 700 vóxeles y calculamos la relación señal-ruido máxima (PSNR) y la medida del índice de similitud estructural multiescala (MS-SSIM)27 como métrica. Notamos que las métricas de PSNR y MS-SSIM fueron más altas en la salida de la red 3D en aproximadamente 2 dB y 0,16, respectivamente (Fig. 1e): la entrada PNSR y MS-SSIM fueron 16,94 dB y 0,70, y la salida PSNR y MS-SSIM fueron 19,03 dB y 0,86. Para evaluar el efecto de la degradación de la imagen en el rendimiento de la red, entrenamos y probamos diferentes condiciones de imagen: el nivel de desenfoque axial y submuestreo axial. El nivel de desenfoque axial se controló mediante la desviación estándar del kernel gaussiano, y el submuestreo axial se realizó además del desenfoque gaussiano con una desviación estándar de 4 e imita el proceso de submuestreo en microscopía de fluorescencia tomando cortes con intervalos: por ejemplo, 4× significa tomar un segmento cada cuatro segmentos en el eje z. Después del submuestreo, las imágenes se redimensionaron de nuevo a las dimensiones originales mediante interpolación bilineal. Notamos que a lo largo de diferentes niveles de degradación, la salida de la red fue consistentemente más alta en rendimiento (Fig. 1f). Como el objetivo del aprendizaje era mejorar los volúmenes axiales utilizando MIP de los volúmenes generados, también medimos PSNR y la medida del índice de similitud estructural (SSIM) de imágenes MIP axiales de 47 700 × 700 píxeles y comparamos los resultados con las imágenes MIP laterales correspondientes de el volumen de referencia, que fue reflejado en un ángulo perpendicular, como la referencia de resolución lateral. Las métricas de la salida de la red se aproximaron más a las de las imágenes MIP laterales (Fig. 1g).

Para evaluar la capacidad de reconstrucción, seleccionamos aleatoriamente 317 objetos tubulares y calculamos las discrepancias FWHM (ancho completo a la mitad del máximo) de la imagen de entrada y salida con respecto a la realidad del suelo (Fig. 1h). La falta de coincidencia media de FWHM de la salida de la red fue aproximadamente cinco veces menor con una falta de coincidencia de 0,61 píxeles en comparación con la falta de coincidencia de 2,95 píxeles en la entrada. La salida de la red también mostró una desviación estándar más baja de 0,60 píxeles en comparación con los 2,41 píxeles de la entrada. Como método alternativo, también segmentamos las señales del fondo mediante el uso de varios métodos de binarización basados en histogramas: el método de Otsu28, la técnica iterativa de análisis de datos autoorganizados29 (ISODATA) y el umbral medio30. La Fig. 1d muestra un ejemplo de segmentación por el método de Otsu. Para todos los métodos de segmentación, las métricas PSNR y SSIM fueron consistentemente más altas para la salida de la red que para la entrada (Fig. 2 complementaria). Para evaluar aún más la precisión de la deconvolución de la imagen de salida, también realizamos un análisis de espectro de Fourier antes y después de la deconvolución para visualizar mejor la restauración de la información de alta frecuencia y mostramos que, en comparación con la entrada, la información de frecuencia de la salida se aproxima más estrechamente a la de la verdad del suelo y su contraparte lateral (Fig. 3 complementaria). Además, notamos que nuestro marco se puede ver como interpretable durante el entrenamiento. Podríamos aproximarnos al modelo PSF de desenfoque calculando la respuesta de impulso a través de la red generativa en el camino hacia atrás, que inicialmente se modeló como un núcleo de desenfoque lineal que emula el proceso de desenfoque axial (Fig. 4 complementaria).

Demostramos la mejora de la resolución en el plano axial al obtener imágenes de una región cortical de un cerebro de ratón Thy 1-eYFP usando CFM. Se limpió el tejido de la muestra y se tomaron imágenes en 3D usando seccionamiento óptico. El corte óptico en CFM generó un marcado contraste entre la resolución lateral y la resolución axial, con una resolución lateral estimada de 1,24 µm con una profundidad z de intervalo de 3 µm. El volumen de la imagen, cuyo tamaño físico abarca aproximadamente 1270 × 930 × 800 µm3, se volvió a muestrear para reconstruirlo isotrópicamente a un tamaño de vóxel de 1 µm mediante interpolación bilineal. Para proporcionar una referencia que confirme la autenticidad de la mejora de la resolución, también tomamos imágenes de la muestra después de rotarla físicamente 90 grados, de modo que su plano lateral XY de alta resolución coincidiera con el plano axial XZ del volumen original, mientras compartíamos el plano axial YZ. Luego, el volumen de referencia se registró en un nivel de celda a celda en el espacio de la imagen de entrada utilizando BigWarp Plugin31. Si bien la referencia adquirida por separado está lejos de ser una imagen real del terreno perfecta debido a su condición de imagen independiente y al posible error de registro, aún proporciona la mejor referencia disponible en cuanto a si los detalles reconstruidos por el marco coinciden con las medidas físicas reales.

En nuestra prueba en el volumen CFM, la red entrenada restauró la resolución altamente anisotrópica anterior a una resolución isotrópica casi perfecta. Ilustramos la mejora de la resolución comparando la distancia en una imagen axial resuelta y la distancia correspondiente en la imagen lateral para una estructura que es simétrica entre el plano lateral y axial. Un ejemplo, que se muestra en la Fig. 2a, es una dendrita basal, que es principalmente cilíndrica. En este ejemplo, la diferencia fue a nanoescala (∼0,05 µm). Como las diferencias de textura entre las imágenes laterales y las imágenes axiales súper resueltas eran imperceptibles para los ojos humanos, realizamos un análisis de espectro de Fourier antes y después de la restauración y mostramos que la información de frecuencia de la salida se restauró para que coincida con la de las imágenes laterales (Suplementario). Figura 5).

Se tomaron imágenes de regiones corticales de un cerebro de ratón Thy 1-eYFP. Se logró una resolución casi isotrópica mediante el método propuesto en un volumen CFM. Las imágenes axiales fueron mejoradas ciegamente por la red neuronal generativa, que se entrena y prueba en un solo volumen CFM que abarca 1-2 gigabytes en la memoria. La mejora de la resolución en los planos axiales fue global y constante en todo el espacio de la imagen (consulte también la Fig. 6 complementaria). Los perfiles de intensidad transversales convergentes de una dendrita cilíndrica en el plano XY (línea amarilla) y el plano XZ (línea azul) indican una resolución isotrópica casi perfecta en comparación con la entrada en XZ (línea azul punteada), con XY FWHM de 1,71 µm y XZ FWHM de 1,76 µm, muy reducido desde la entrada XZ FWHM de 6,04 µm. Barras de escala: 100 µm, 50 µm, 20 µm (2D) y 20 µm (3D) en el orden de zoom progresivo. b Los resultados de restauración de imágenes ("Red") muestran las regiones corticales superiores de la corteza del ratón, como imágenes MIP de 150 µm de espesor. Los resultados se compararon con la imagen axial original ("Entrada") y la imagen lateral de referencia ("rotación de 90°"). Los ROI ampliados están marcados como cuadros amarillos. Los detalles suprimidos o borrosos se recuperaron en las imágenes de salida de la red y coincidieron con las imágenes laterales. Barras de escala: 50 µm (ROI superiores), 10 µm (ROI medios), 20 µm (ROI inferiores). c Reconstrucción 3D de neuronas piramidales en la capa cortical superior antes y después de la restauración, con trazados neuronales. La mejora de la resolución en el plano axial permite una reconstrucción más precisa y detallada de la morfología neuronal en 3D. Verificamos los trazados neuronales adicionales comprobándolos en las ubicaciones correspondientes de las imágenes laterales. El submuestreo y el desenfoque Z dificultaron el seguimiento de las neuritas que se ejecutan perpendicularmente a la dirección de escaneo (flechas en ROI 2D), mientras que era posible un seguimiento más preciso a partir de la salida de la red. Barras de escala: 50 µm (3D) y 10 µm (2D ROI). d Distribución PSNR de imágenes MIP como una métrica de distancia a la imagen de referencia, con mejoras por pares. Las imágenes MIP (n = 31 imágenes independientes) fueron de secciones transversales de 140 × 140 µm2 con profundidades de 150 µm. Para los diagramas de caja, la caja muestra el IQR entre Q1 y Q3 del conjunto de datos, con la marca central que muestra la mediana y los bigotes que indican el mínimo (Q1-1.5*IQR) y el máximo (Q3+1.5*IQR). e Perfiles de intensidad transversales de líneas marcadas en ROI ampliadas de (b). La línea girada 90° se registra en la entrada. En los paneles (a) y (c), las barras de color representan la intensidad de la señal normalizada entre 0 y 1.

Examinamos la precisión anatómica de los detalles resueltos comparándolos con la imagen de referencia (etiquetada como girada 90 ° en la Fig. 2b, c), que proporciona una coincidencia de alta resolución con la imagen axial original en una escala micrométrica. Notamos que la red tuvo éxito no solo en traducir la textura de la imagen axial al dominio de la imagen de alta resolución, sino también en la recuperación de detalles previamente suprimidos, que fueron verificados por la imagen de referencia. De acuerdo con la imagen de referencia, la salida de la red mejoró con precisión las características anatómicas del tejido nervioso, de manera consistente en todo el espacio de la imagen (Fig. 2a y Fig. 6 complementaria). Como se muestra en la Fig. 2b, c, la red permitió una investigación citoarquitectónica más avanzada de la región cortical, ya que la red logró la recuperación adaptativa de características anatómicas importantes que varían en morfología, densidad y conectividad en la región cortical. Por ejemplo, en las capas corticales superiores, se resolvieron las dendritas apicales de las neuronas piramidales previamente borrosas (ROI del medio izquierdo en la Fig. 2b). La salida de la red también reveló microcircuitos corticales nunca antes vistos por neuronas e interneuronas piramidales (ROI inferiores en la Fig. 2b). El perfil de intensidad de la sección transversal (Fig. 2e) ilustra dicha recuperación de detalles suprimidos que previamente estaban borrosos en la imagen axial. Nos dimos cuenta de que, si bien la red mejoró la resolución axial, no introdujo distorsiones ni artefactos perceptibles en el plano lateral.

Tal recuperación de detalles suprimidos se tradujo en una mejora notable en la reconstrucción de las morfologías neuronales a partir del volumen de salida mejorado. Rastreamos dos neuronas piramidales utilizando NeuroGPS-tree32, el método de rastreo neuronal estándar actual para la segmentación de instancias, que fue seguido de corrección humana. El trazado se realizó a ciegas sin conocimiento de otras contrapartes de imágenes. La figura 2c muestra los resultados. En comparación visual, los trazados de la salida de la red no estaban limitados en ninguna dirección, mientras que en la imagen de entrada, el árbol NeuroGPS no pudo rastrear las neuritas que se interrumpieron por el submuestreo del eje z (ROI 2D en la Fig. 2c) . Las comparaciones de los trazados neuronales de la entrada, la red y las imágenes de referencia se muestran en la figura complementaria 7. Para cuantificar la precisión anatómica de los detalles reconstruidos por la red, corroboramos las reconstrucciones por la red a través de la verificación de corte por corte de la trazados de salida en imágenes de la proyección de imagen lateral. La verificación se realizó a nivel de examen de ramificación de neuritas reconstruidas por eliminación de falsos positivos. Por ejemplo, las regiones de la imagen trazada con neuritas no coincidentes se establecieron en ceros, y aquellas con neuritas coincidentes se establecieron en unos en una imagen binaria verificada. Los resultados del rastreo y el proceso de verificación se describen con más detalle en las Películas complementarias 1 y 2. Luego, medimos la precisión biológica de los rastreos calculando la relación entre los rastreos originales y los rastreos verificados. Las precisiones de la reconstrucción neuronal a partir de las dos neuronas de prueba fueron del 98,31 % y del 98,26 %.

Para cuantificar la mejora de la resolución axial a nivel de señal, identificamos 31 regiones de interés no superpuestas, cada una de 140 × 140 µm2 en las imágenes axiales de entrada y las imágenes laterales de referencia, donde se distinguían estructuras neuronales idénticas y se detectaban de manera similar en imágenes mediante emisión de fluorescencia. Luego, medimos y comparamos la distancia máxima de la relación señal-ruido (PSNR) de los ROI de entrada y los ROI de salida de la red con los ROI de referencia correspondientes. La red introdujo una mejora PSNR media de 2,42 dB por par de un ROI de entrada frente a un ROI de salida (Fig. 2d). Este análisis sugiere que los detalles texturales recuperados por la red incluyen características anatómicamente precisas que eran más discernibles en las imágenes laterales. Notamos que sus diferencias métricas no reflejaban completamente la precisión perceptiva de los detalles recuperados y se atribuyeron a las diferencias en la emisión de fluorescencia entre las sesiones de imágenes al obtener imágenes en un ángulo diferente (consulte la Fig. 8 complementaria). Además, probamos la capacidad de generalización del marco entrenando y probando otros tipos de células o tejidos biológicos mediante imágenes de tejidos cerebrales de rata con CFM: astrocitos marcados con marcadores GFAP fluorescentes y vasos sanguíneos marcados con lectina (consulte las Figs. 9 y 10 complementarias). ). En nuestras evaluaciones, el marco mostró mejoras biológicamente significativas en la calidad y reconstrucción de la imagen.

La microscopía de hoja de luz (LSM) es una técnica microscópica especializada para la obtención de imágenes celulares de alto rendimiento de grandes muestras de tejido, incluidos los tejidos aclarados ópticamente. Para explorar más a fondo la capacidad de restauración de imágenes de nuestro marco, probamos la capacidad de desconvolución de un PSF medido experimentalmente en un sistema LSM abierto (OT-LSM)33. Obtuvimos imágenes de perlas fluorescentes de 0,5 µm con OT-LSM, en la pila de imágenes con un tamaño físico general de 360 × 360 × 160 µm3. La imagen se volvió a muestrear para reconstruirla isotrópicamente a un tamaño de vóxel de 0,5 µm usando interpolación bilineal. Las cuentas se distribuyeron arbitrariamente, con algunas de las cuentas espaciadas más cerca unas de otras. Los resultados de nuestro marco se muestran en la Fig. 3. Después de la desconvolución, la reconstrucción 2D y 3D de la salida de la red indicó una resolución casi isotrópica, lo que resultó en una forma casi esférica (Fig. 3a). Este efecto de deconvolución fue consistente en todas las perlas fluorescentes individuales. Para cuantificar el rendimiento de la deconvolución, calculamos los valores de FWHM 2D de más de 300 puntos brillantes seleccionados al azar y comparamos el FWHM lateral y el FWHM axial antes y después de la restauración de la imagen. Como se muestra en la Fig. 3b, las distribuciones FWHM de los puntos brillantes en la imagen restaurada muestran una coincidencia casi idéntica a las de la entrada en el plano lateral. La salida de la red corrigió el alargamiento axial de la PSF, con un FWHM axial medio de ∼3,91 ± 0,28 µm que se redujo a ∼1,95 ± 0,12 µm, que está muy cerca del FWHM medio de ∼1,98 ± 0,13 µm de la entrada lateral. La red introdujo muy poca desviación en el plano lateral, con un desajuste FWHM medio de ~0,13 ± 0,06 µm.

Se tomaron imágenes de las perlas fluorescentes de 0,5 µm para modelar experimentalmente el PSF del sistema OT-LSM. a Un ejemplo de deconvolución de PSF visualizado en 3D y 2D. Los perfiles de intensidad se ajustaron a funciones gaussianas. El alargamiento axial es un problema común en la microscopía de fluorescencia. Nuestro marco lo resuelve en la perla fluorescente originalmente esférica. Las imágenes de corte se visualizaron en el rango de señal de la imagen de entrada. Las barras de color representan la intensidad de la señal normalizada entre 0 y 1. Barras de escala: 10 µm (izquierda), 1 µm (centro y derecha). b FWHM de PSF medidos experimentalmente en los planos lateral y axial antes y después de la deconvolución de PSF. Extrajimos puntos brillantes de las mismas ubicaciones antes de aplicar el método (n = 300 puntos para el plano XY y 305 puntos para el plano YZ de regiones distintas que no se superponen). Cada punto se ajustó a una función gaussiana 2D, donde se calculó FWHM. Las PSF en el plano axial se desconvolucionaron a una resolución casi idéntica a las del plano lateral. Para el diagrama de caja, la caja muestra el IQR entre Q1 y Q3 del conjunto de datos, con la marca central que muestra la mediana y los bigotes que indican el mínimo (Q1-1.5*IQR) y el máximo (Q3+1.5*IQR). Los valores atípicos están representados por marcadores en forma de asterisco más allá de los bigotes.

La obtención de imágenes de una muestra a gran escala a alta resolución, como la obtención de imágenes de un cerebro de ratón completo a una resolución submicrométrica, puede introducir un conjunto de artefactos de imagen inesperados que no se notan a una resolución más baja. En la microscopía LSM, estos artefactos suelen ser subproductos de un microscopio mal calibrado o mal instalado. En particular, los sistemas OT-LSM estándar34,35 requieren que la ruta de excitación y la ruta de imagen sean perpendiculares entre sí y pueden introducir distorsiones en la calidad de la imagen de manera desigual entre el plano XZ y el plano YZ, aunque esta anisotropía se puede relajar mediante un enfoque muy concentrado. excitación33. Para probar ciegamente nuestro marco en una combinación de procesos de degradación de imágenes desconocidos, entrenamos y probamos en un sistema OT-LSM con múltiples artefactos de imágenes, que incluyen no solo los artefactos borrosos por aberración esférica que es causado por la falta de coincidencia del índice de refracción entre el aire y el medio de inmersión, pero otros artefactos que se extienden de manera no uniforme a través del espacio de la imagen: por ejemplo, artefactos de duplicación de imagen por falta de sincronización entre el barrido del láser de excitación y el obturador rodante del sensor de detección, o artefactos de desenfoque de movimiento de derivas de muestras físicas por el escenario motorizado. Probamos nuestro marco para abordar estos problemas a ciegas, desde una sola sesión de imágenes sin antecedentes de ningún marcador fiduciario u otros métodos convencionales para prevenir estos artefactos. Como el problema de anisotropía para este sistema OT-LSM requiere que la red aprenda dos transformaciones de imagen distintas en cada plano ortogonal y es inconsistente en el espacio de la imagen, implementamos una variación del marco que emplea discriminadores separados para el plano YZ y el plano XZ y reemplaza el muestreo de proyección con muestreo de corte para las redes discriminativas.

Obtuvimos imágenes de la región cortical de un cerebro de ratón limpiado de tejido marcado con Thy 1-eYFP usando OT-LSM, que tiene un tamaño físico de ~930 × 930 × 8600 µm3. La imagen se volvió a muestrear para reconstruirla isotrópicamente a un tamaño de vóxel de 0,5 µm usando interpolación bilineal. Se estima que el sistema de microscopía tiene una resolución de imagen de ∼0,5 µm lateralmente y ∼4,6 µm axialmente, con un intervalo de escaneo de profundidad z de 1 µm, y generó múltiples artefactos de imagen como se indica arriba. Para ver los esquemas del sistema OT-LSM, consulte la Fig. 11 complementaria. Como se muestra en la Fig. 4a, notamos que la degradación de la calidad de imagen en las imágenes axiales por el sistema OT-LSM no era idéntica entre el plano XZ e YZ. , ya que las imágenes XZ e YZ se vieron afectadas en diferentes grados por la propagación de la luz que se alinea con el eje Y y la vibración del movimiento lateral de la muestra limpiada de tejido durante el escaneo.

a Comparación de calidades de imagen entre los planos de imagen ortogonales en un OT-LSM no calibrado, usando imágenes MIP de un ROI 3D seleccionado. Barra de escala: 100 µm y 25 µm (ROI ampliadas). b Reconstrucciones 3D de somas y dendritas basales de neuronas piramidales, con imágenes MIP axiales de ROI 3D seleccionadas. La red corrigió el efecto de duplicación en el plano XZ y también mejoró el contraste entre las señales y el fondo. La mejora de la resolución fue consistente en el plano XZ y el plano YZ. Las imágenes de entrada y salida se visualizaron en el mismo espectro de intensidad. La barra de color representa la intensidad de la señal normalizada entre 0 y 1. Barras de escala: 25 µm. c Imágenes MIP YZ y XZ de la entrada, el resultado de la desconvolución por el algoritmo de Richardson-Lucy y la salida de la red. La deconvolución y la corrección de artefactos en la salida de la red fueron consistentes a lo largo de 8600 imágenes de corte del volumen OT-LSM. Las imágenes MIP están en profundidades de 150 µm. Los experimentos se repitieron con seis volúmenes de imágenes independientes, consiguiendo resultados similares. Barras de escala: 50 µm y 10 µm (ROI ampliadas).

Como se muestra en la Fig. 4c, la salida de la red mostró una resolución uniformemente mejorada entre los planos XZ e YZ, al tiempo que mejoraba el contraste entre las señales y el fondo. Esta mejora permitió una reconstrucción más detallada de las morfologías neuronales en 3D (Fig. 4b). Para una comparación visual de los detalles restaurados, desconvolucionamos el volumen de la imagen usando el algoritmo de deconvolución de Richardson-Lucy (RL)36,37 basado en el modelo PSF que se adquirió experimentalmente (Fig. 3). La desconvolución de RL se realizó con Fiji-Plugin DeconvolutionLab38 con 10 iteraciones. En la imagen de deconvolución RL, encontramos detalles coincidentes que previamente fueron suprimidos por la aberración esférica en la imagen de entrada (Fig. 4c). Las mejoras de resolución en ambos planos axiales tenían diferencias imperceptibles en textura y precisión. Sin embargo, como la degradación de la imagen era irregular en el espacio de la imagen, la imagen de deconvolución de RL no abordó los artefactos de imagen adicionales que no fueron modelados por el PSF dado. Por el contrario, la red corrigió muchos de estos artefactos de imagen. Por ejemplo, los artefactos de duplicación de imagen de la asincronía entre la excitación y la detección se redujeron visiblemente (imágenes del plano XZ de la Fig. 4b y ROI del plano XZ en la Fig. 4c). También se corrigieron los artefactos de ondulación horizontal causados por la deriva del escenario (ROI del plano YZ en la Fig. 4c y la Fig. 12 complementaria). Notamos que la corrección del artefacto fue consistente en todo el espacio de la imagen.

Para la evaluación cuantitativa del marco en el sistema LSM, generamos imágenes reales casi isotrópicas calibrando el microscopio33, a una resolución lateral de ∼ 0,5 µm y una resolución axial de ∼ 1,9 µm, y reduciendo en gran medida la mayoría de los artefactos de imágenes anteriores. . Luego, simulamos un proceso de desenfoque de PSF en profundidad mediante la aplicación de un núcleo gaussiano axial con una desviación estándar de 10. Entrenamos y probamos en un volumen de imagen de ~490 × 130 × 150 µm3. En nuestras pruebas con el modelo original, la red recuperó con éxito la mayor parte de la información borrosa axial borrosa. La Fig. 13 complementaria muestra los resultados de este experimento. En comparación con la imagen de deconvolución RL, las imágenes de salida de la red exhiben una recuperación de detalles finos (ROI ampliadas en la Fig. 13a complementaria). Además, notamos que, en comparación con la realidad del terreno, la red también corrigió los artefactos de la franja horizontal, que fueron causados por el submuestreo axial e ilustrados en los ROI de la realidad del terreno en la Fig. 13a complementaria. Para cuantificar la mejora de la resolución axial, dividimos el volumen de prueba en ocho regiones que no se superponen y calculamos las métricas de calidad de imagen en sus respectivos MIP con profundidades de 17,5 µm. PSNR y MS-SSIM se usaron como métricas conscientes de la referencia, y BRISQUE39 se usó como la métrica de calidad de imagen sin referencia para evaluar la naturalidad perceptiva de la imagen de salida, en comparación con la entrada y la realidad del terreno. Notamos mejoras en todas las métricas (Figura complementaria 13b). La métrica de BRISQUE sugiere que las imágenes de salida eran perceptiblemente más naturales que la entrada borrosa, con poca diferencia de la realidad básica. También notamos una mejora general de PSNR de 1,98 dB en el volumen de salida 3D.

Hasta ahora, hemos demostrado la efectividad de nuestro método en simulación, CFM y OT-LSM, que implican muchas diferencias entre sí en la formación de imágenes. En consecuencia, esperamos que el marco sea ampliamente aplicable a otras formas en el espectro de microscopía de fluorescencia, ya que el componente esencial del aprendizaje no depende de las condiciones de un proceso de formación de imágenes.

En este trabajo, desarrollamos una técnica de superresolución basada en aprendizaje profundo que mejora la resolución axial de la microscopía de fluorescencia convencional mediante el aprendizaje de imágenes laterales de alta resolución. La fortaleza de nuestro marco proviene de aprovechar el aprendizaje no supervisado de pares de datos sin igual: permite que el aprendizaje de la transformación de imágenes se localice en un espacio de unidad 3D definido por el usuario y, por lo tanto, se desacople de las variaciones regionales en las características de la imagen, como las aberraciones. o artefactos que surgen naturalmente de un proceso de formación de imágenes de fluorescencia. En nuestros experimentos con simulación, CFM y OT-LSM, demostramos que esta característica se traducía en una clara ventaja para la reconstrucción isotrópica de detalles suprimidos en microscopía de fluorescencia volumétrica a gran escala, donde el nivel de degradación de la imagen varía en el espacio de la imagen.

Los modelos de aprendizaje profundo basados en una arquitectura GAN, que es de aprendizaje no supervisado, sobresalen en la generación de detalles de alto nivel muy plausibles y son conocidos por tareas como transferir estilos artísticos22,40 o incluso ajustar detalles de alto nivel41. Sin embargo, cuando se trata de mejorar las imágenes microscópicas en la investigación biológica, los detalles bien generados son un arma de doble filo. La alta verosimilitud de los detalles dificulta validar la autenticidad de las imágenes restauradas, especialmente sin hacer referencia a evidencia biológica real. En este artículo, proporcionamos tanto la evidencia teórica de los estudios de simulación como la evidencia experimental de las imágenes ortogonales y el desenfoque artificial para corroborar la validez de dicha información de alta frecuencia reconstruida. Los resultados respaldaron que nuestro diseño de red OT-cycleGAN abordó el problema de la desviación de la autenticidad al limitar estrictamente el espacio de la solución mediante la formulación del transporte óptimo y el diseño inspirado en la física del modelo de degradación en el camino hacia atrás, mientras aprovecha este excelente poder generativo. para reconstruir información de alta frecuencia. Además, nuestros estudios de ablación brindan una visión más profunda de los componentes esenciales de nuestro marco (Nota complementaria 1 y Figura complementaria 14).

En la práctica, nuestro método no debe confundirse con una solución única para todos los problemas de anisotropía en microscopía. Si es necesario, los usuarios pueden incluir pasos adicionales para la visualización en el posprocesamiento. Por ejemplo, pueden surgir algunos artefactos visuales dependiendo de cómo se visualicen las imágenes: 2D versus 3D o el rango de intensidad para la visualización. La Fig. 15 complementaria muestra un ejemplo de tales casos. Dado que las redes discriminatorias se entrenan con imágenes MIP 2D, dichos artefactos visuales pueden parecer más perceptibles cuando se visualizan únicamente como imágenes MIP 2D. Sin embargo, estos artefactos no surgen de reconstrucciones falsas, como se muestra en la Fig. 15 complementaria; no hay estructura espuria cuando se visualiza completamente en 3D. En los casos de volúmenes de imagen en los que el contraste local cambia notablemente entre los subvolúmenes durante las iteraciones de entrenamiento, mientras que la mayoría de los artefactos se establecen dentro de rangos de intensidad muy bajos y permanecen apenas visibles, pueden parecer más visibles cuando se visualizan en un rango de intensidad altamente saturado. En tales casos, los usuarios pueden normalizar la imagen de salida localmente según el histograma de la imagen de entrada, usando histogram-matching42. La Fig. 16 complementaria muestra nuestra prueba con el volumen de imagen del experimento de desconvolución de PSF; el posprocesamiento por sí solo aumentó la relación señal-ruido (SNR) local.

Finalmente, el principal beneficio de nuestro método radica en su facilidad de implementación. Como se muestra en las figuras complementarias. 9 y 10, el marco no está necesariamente limitado por el tipo de tejido de la imagen o marcadores de marcaje fluorescentes. En consecuencia, nuestro método debería ser aplicable a una variedad de escenarios de imágenes en microscopía de fluorescencia volumétrica. También reduce en gran medida el esfuerzo para ponerlo en práctica, ya que entrenar una red requiere solo una pila de imágenes 3D, sin un conocimiento previo del proceso de formación de imágenes, registro de datos de entrenamiento o adquisición por separado de datos objetivo. En general, se considera necesaria alguna combinación de esos factores43 para la mayoría de los métodos convencionales de superresolución basados en el aprendizaje profundo. Por esta razón, esperamos que nuestro método reduzca significativamente la dificultad preexistente de aplicar superresolución a los datos de microscopía volumétrica.

Para simular una estructura de malla aleatoria con objetos tubulares, primero seleccionamos al azar 20 000 puntos en un espacio de imagen 3D de 900 × 900 × 900 vóxeles para dibujar 10 000 líneas lineales de dos píxeles de grosor. Luego, aplicamos un campo de deformación basado en cuadrícula elástica 3D con 70 ubicaciones de cuadrícula con un valor sigma de 3. Luego, el volumen deformado se normalizó y se trató como el volumen real. Para obtener un volumen borroso, aplicamos un núcleo gaussiano de desenfoque Z con una desviación estándar de 4. La Fig. 1 complementaria visualiza este proceso.

Los ratones Tg(Thy1-eYFP)MJrs/J se identificaron mediante genotipado después de criar ratones mutantes heterocigotos, y los ratones se retrocruzaron con el fondo C57BL/6 WT durante 10 generaciones y luego se mantuvieron en las mismas instalaciones para animales en el Instituto de Investigación del Cerebro de Corea (KBRI). Los ratones se alojaron en grupos de 2 a 5 animales por jaula con acceso ad libitum a comida estándar y agua en un ciclo de luz/oscuridad de 12/12 con "encendido de luces" a las 07:00, a una temperatura ambiente de 20-22 ° C y humedad (alrededor del 55%) a través de un flujo de aire constante. El bienestar de los animales fue monitoreado regularmente. Todos los procedimientos con animales siguieron las pautas de cuidado de animales aprobadas por el Comité Institucional de Uso de Cuidado de Animales (IACUC) de KBRI (IACUC-18-00018). En la preparación de cortes de cerebro de ratón, los ratones se anestesiaron mediante inyección con una mezcla de zoletil (30 mg/kg) y xilazina (10 mg/kg de peso corporal). Los ratones se perfundieron con 20 ml de solución salina tamponada con fosfato (PBS) fresca y fría y 20 ml de solución de paraformaldehído (PFA) al 4 % mediante una bomba peristáltica y se extrajeron los cerebros completos de los ratones y se fijaron en PFA al 4 % durante 1 o 2 días a 4 ◦ C. Los cerebros de ratón fijados se cortaron coronalmente con un espesor de 500 µm. Luego, los cortes de cerebro se incubaron en una solución de coincidencia de índice de refracción (RI) (coincidencia C, 1.46 RI, Crayon Technologies, Corea) a 37 ° C durante una hora para la limpieza óptica. El método propuesto se aplicó a las imágenes de las muestras de tejido aclaradas ópticamente. Para la preparación de muestras para las Figs. complementarias. 9 y 10, consulte la Nota complementaria 2.

Para la obtención de imágenes CFM, las muestras de tejido limpiadas ópticamente se montaron en un plato con fondo de cubreobjetos de 35 mm y se sumergieron en la solución de coincidencia RI durante la adquisición de imágenes usando un microscopio confocal vertical (Nikon C2Si, Japón) con una lente Plan-Apochromat 10x (NA = 0,5, WD = 5,5 mm). Las pilas Z de las secciones ópticas se tomaron a intervalos de 3 o 4 µm.

Para las imágenes de OT-LSM, utilizamos un sistema de microscopía recientemente desarrollado33, cuyo diseño se basa en la microscopía de lámina de luz abierta con prisma de agua34,35. Para inducir la anisotropía, excluimos el enfoque estricto de la hoja de luz de excitación en el campo de visión de la imagen. El sistema incluye un ETL (EL-16-40-TC-VIS-5D-M27, Optotune) como parte del brazo de iluminación para el barrido axial de la lámina de luz de excitación y una cámara sCMOS (ORCA-Flash4.0 V3 Digital CMOS cámara, Hamamatsu) en el modo de obturador rodante para recolectar la luz de emisión de la muestra. El sistema utiliza una lente de objetivo de aire de 10 aumentos (MY10X-803, NA 0.28, Mitutoyo) tanto en el brazo de iluminación como en el de imagen, apuntando hacia la superficie de la muestra a +45° y -45°. El prisma líquido personalizado se archivó con la solución de coincidencia RI para la incidencia de luz normal en la solución de limpieza. La fuente de luz de excitación eran láseres CW de 488 nm o 532 nm (Sapphire 488 LP-100, Coherent; LSR532NL-PS-II, JOLOOYO).

Para las imágenes del cerebro OT-LSM, se aplicó un filtro mediano de un radio de 2 píxeles para eliminar el ruido de sal y pimienta que surge de las imágenes de fluorescencia. Todas las imágenes se normalizaron para escalar con afinidad entre 0 y 1 utilizando la saturación basada en percentiles con el 0,25 % inferior y superior para las imágenes sintéticas, el 0,03 % para las imágenes CFM y el 3 % para las imágenes OT-LSM. En ambos experimentos OT-LSM, dado que el sistema OT-LSM toma imágenes de una muestra a 45 ° o -45 °, aplicamos corte en el plano YZ como una transformación afín para reconstruir el espacio de muestra correcto. La visualización de imágenes se realizó con el software Fiji44 y Paraview45.

Se eligieron dos neuronas piramidales por la visibilidad de sus neuritas conectadas. Primero fueron rastreados automáticamente utilizando el software NeuroGPS-Tree. Las ubicaciones del soma se seleccionaron manualmente utilizando el software V3D46. El software NeuroGPS-tree usó estas ubicaciones de soma para el rastreo, con los parámetros de umbral binario y umbral de rastreo, que se eligieron empíricamente mediante observación y corrección manuales. Después del trazado inicial, los trazados se convirtieron en un volumen de imagen binaria y se corrigieron manualmente en función de su comparación corte por corte con el volumen de la imagen de origen, configurando las neuritas coincidentes en unos y el resto en ceros. En el paso de verificación, los trazados se trasladaron a las ubicaciones correspondientes en el volumen de referencia registrado, del que se tomaron imágenes por separado después de una rotación física de 90 grados de la muestra. La verificación se realizó corte por corte verificando los trazados en los cortes de la imagen de referencia (Películas complementarias 1 y 2). Por ejemplo, las regiones de la imagen con neuritas no coincidentes se establecieron en cero y las regiones de la imagen con neuritas coincidentes se establecieron en uno. Luego se calculó la precisión de la siguiente manera:

Aquí, W, H y D representan el ancho, la altura y la profundidad del volumen trazado. V y C representan el volumen binario verificado después de la verificación referencial y el volumen binario corregido antes de la verificación referencial, respectivamente.

Para derivar nuestro algoritmo, asumimos que el espacio objetivo de alta resolución \({{{{{\mathcal{X}}}}}}\) consta de volúmenes de imágenes 3D imaginarios con una resolución isotrópica según una medida de probabilidad µ, mientras que el espacio de entrada \({{{{{\mathcal{Y}}}}}}\) consta de volúmenes 3D medidos con una resolución anisotrópica con una resolución axial más pobre que sigue una medida de probabilidad \(\nu\). De acuerdo con el ciclo óptimo impulsado por el transporteGAN23, si tuviéramos que transformar un volumen de imagen en \({{{{\mathcal{Y}}}}}}\) a \({{{{{\mathcal{X} }}}}}\), podemos resolver este problema transportando la distribución de probabilidad \(\nu\) a µ y viceversa en términos de la minimización estadística de la distancia en \({{{{{\mathcal{X}} }}}}\) y \({{{{{\mathcal{Y}}}}}}\) simultáneamente23, que se puede implementar usando un cicloGAN. En nuestra implementación, es el papel de las redes discriminativas estimar tales distancias estadísticas y guiar a las redes generativas para minimizar las distancias. Desafortunadamente, como \({{{{{\mathcal{X}}}}}}\) consiste en volúmenes imaginarios isotrópicos de alta resolución, no podemos medir directamente la distancia estadística a \({{{{{\mathcal{X }}}}}}\) de los volúmenes generados. Esta dificultad técnica se puede resolver con la siguiente observación: dado que se asume una resolución isotrópica para cada volumen 3D \({{{{{\boldsymbol{x}}}}}}\,{{{{{\mathcal{\in } }}}}}\,{{{{{\mathcal{X}}}}}}\), los planos XY, YZ y XZ deben tener la misma resolución que la resolución lateral del volumen de entrada (es decir, el Plano XY del volumen de entrada \({{{{{\boldsymbol{y}}}}}}\,{{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal {Y}}}}}}\)). En consecuencia, podemos medir la distancia estadística a los volúmenes imaginarios en \({{{{{\mathcal{X}}}}}}\) definiendo la distancia estadística como la suma de las distancias estadísticas en XY, YZ, y aviones XZ usando la siguiente pérdida contraria por mínimos cuadrados:47

dónde

donde los subíndices xy, yz y xz se refieren a información de corte en el plano xy, yz y xz, y los subíndices xyproj, yzproj y xzproj se refieren a proyecciones de máxima intensidad en el plano XY, YZ y XZ. La proyección tiene en cuenta las proyecciones borrosas en z en el plano lateral de cortes adyacentes. Aquí, yxy, una imagen de corte 2D XY del volumen de imagen y, se usa como referencias de plano XY, YZ y XZ de la distribución de volumen isotrópico imaginario \({{{{{\mathcal{X}}}}}} \) y comparado con los planos correspondientes del volumen restaurado G(y).

Por otro lado, el grupo DY del discriminador de trayectoria hacia atrás está entrenado para minimizar la siguiente pérdida:

dónde

de modo que las imágenes de los planos XY, YZ y XZ del volumen borroso \(F({{{{{\boldsymbol{x}}}}}})\) siguen la distribución de las imágenes de los planos XY, YZ y XZ del volumen de entrada \({{{{{\boldsymbol{y}}}}}}\,{{{{{\mathcal{\in }}}}}}\,{{{{{\mathcal{Y}} }}}}\).

Tenga en cuenta que G es un generador 3D que realiza desenfoque 3D o sobremuestreo en un volumen de imagen de entrada. Durante este proceso de restauración 3D, hay posibilidades de que las imágenes de corte XY originales se distorsionen. Por lo tanto, el generador G debe entrenarse para mejorar la resolución en los cortes XZ e YZ, pero también para no degradar el rendimiento en el plano XY. Este problema también concierne al generador F en el camino hacia atrás. Por lo tanto, necesitamos discriminadores tanto para el muestreo axial como para el muestreo lateral durante el paso de restauración 3D en el camino hacia adelante y el paso de degradación 3D en el camino hacia atrás. Además, si no hay discrepancia en la calidad de la imagen entre los dos planos axiales, solo se puede usar una red discriminatoria para aprender de ambos planos axiales (es decir, \({D}_{X}^{\left(2\right )}={D}_{X}^{\left(3\right)}\) y \({D}_{Y}^{\left(2\right)}={D}_{Y} ^{\izquierda(3\derecha)}\)). Por ejemplo, los estudios de simulación y el experimento CFM fueron ejemplos de este caso.

Entonces, el objetivo completo para el entrenamiento de la red neuronal viene dado por:

donde \({{{{{{\mathcal{L}}}}}}}_{{{{{\mathcal{c}}}}}}{{{{\mathcal{y}}}} }}{{{{{\mathcal{c}}}}}}}\left(G,F\right)\) se refiere a la pérdida de consistencia del ciclo y se calcula como la suma de las diferencias absolutas, también conocida como Pérdida L1, entre F (G(y)) e y. λ, como el peso de la pérdida de consistencia del ciclo, se establece en 10 en nuestros experimentos. La función objetiva de la arquitectura que preserva la consistencia del ciclo tiene como objetivo lograr el equilibrio entre la capacidad generativa y la capacidad discriminatoria del modelo, ya que transforma los datos de la imagen en el dominio de destino estimado lo más cerca posible, al mismo tiempo que preserva la reversibilidad de la mapeos entre los dominios. El equilibrio generativo versus discriminativo se logra mediante la convergencia de la pérdida del adversario en ambos caminos de la transformación de la imagen, ya que las redes generativas aprenden a maximizar la pérdida y las redes discriminativas, como su adversario, aprenden a minimizar la pérdida.

La arquitectura resultante consta de dos redes generativas de capas profundas, cada una en el camino de ida y en el camino de regreso, y cuatro o seis redes discriminatorias, en dos grupos, cada una en el camino de ida y en el camino de regreso. El esquema se ilustra en la Fig. 1b, y las descripciones detalladas de los diseños de red se muestran en la Fig. 17 complementaria y las Notas complementarias 3 y 4.

La red generativa G en la ruta directa se basa en la arquitectura 3D U-Net48, que consiste en la ruta de muestreo descendente, la capa inferior, la ruta de muestreo ascendente y la capa de salida. Por otro lado, la red generativa F en la ruta hacia atrás es ajustable y reemplazable en función de qué tan bien la red generativa puede emular el proceso de desenfoque o reducción de resolución. Buscamos empíricamente una opción óptima entre la arquitectura 3D U-net y el generador lineal profundo49 sin el paso de reducción de muestreo (consulte la Fig. 17b complementaria). Elegimos el generador lineal profundo como F para simulaciones, las imágenes cerebrales CFM y las imágenes de perlas fluorescentes OT-LSM, y elegimos 3D U-Net como F para las imágenes cerebrales OT-LSM. Los tamaños de kernel en el generador lineal profundo varían según la profundidad de las capas de convolución (consulte la Fig. 17b complementaria).

Antes de la fase de entrenamiento para las imágenes de OT-LSM, cortamos todo el volumen en subregiones de 2003 a 2503 vóxeles con regiones adyacentes superpuestas de 20 a 50 vóxeles de profundidad. El número de subregiones es ~3000 para los datos de imagen del cerebro y ~580 para los datos de imagen de perlas fluorescentes. Luego, recortamos al azar una región para el entrenamiento por lotes por iteración y la volteamos en un eje elegido al azar como técnica de aumento de datos. El tamaño de recorte fue de 132 × 132 × 132 vóxeles para las imágenes del cerebro y 100 × 100 × 100 vóxeles para las imágenes de cuentas fluorescentes.

Si bien la resolución axial en OT-LSM difiere entre los planos XZ e YZ debido a que la ruta de iluminación se alinea con el eje YZ, la resolución axial en la imagen CFM es consistente en todo el plano XY. Por esta razón, para las imágenes CFM, cargamos todo el volumen de la imagen (1-2 gigabytes) en la memoria y rotamos aleatoriamente a lo largo del eje Z como técnica de aumento de datos. Luego, recortamos aleatoriamente una región y volteamos en un eje elegido aleatoriamente por iteración. Por esta razón, las redes se entrenaron con un volumen de imagen completo con su progreso de entrenamiento marcado en iteraciones en lugar de épocas. El tamaño de recorte se establece en 144 × 144 × 144 vóxeles. Durante la fase de inferencia en todos los experimentos, el tamaño de recorte se establece en 120 × 120 × 120 vóxeles con regiones superpuestas de 30 vóxeles de profundidad, y recortamos los bordes en una profundidad de 20 vóxeles de cada subregión de salida para eliminar los puntos débiles. señales cerca de los bordes antes de volver a ensamblar en el espacio de la imagen original. En todos los experimentos, el tamaño del lote por iteración se establece en 1.

En las redes generativas 3D U-net, todas las capas de convolución 3D tienen el tamaño de kernel de 3, la zancada de 1 con el tamaño de relleno de 1, y todas las capas de convolución transpuestas tienen el tamaño de kernel de 2, la zancada de 2 y no relleno. En las redes generativas lineales profundas, las seis capas de convolución tienen los tamaños de núcleo de [7,5,3,1,1,1] a su vez con el paso de 1 y los tamaños de relleno de [3,2,1,0, 0,0]. En las redes discriminativas, las capas de convolución tienen un tamaño de núcleo de 4, un paso de 2 y un tamaño de relleno de 1. Para la profundidad de proyección axial, la establecemos en una profundidad aleatoria en cada iteración confinada entre 2 rebanadas y 15 rebanadas. para las imágenes CFM del cerebro y entre 2 y 10 cortes para los estudios de simulación, las imágenes de cuentas fluorescentes, las imágenes CFM de astrocitos y las imágenes OT-LSM borrosas sintéticamente.

En todos los experimentos, todas las redes de aprendizaje se inicializaron usando la inicialización Kaiming50 y se optimizaron usando el optimizador de estimación de momento adaptativo (Adam)51 con una tasa de aprendizaje inicial de 1 × 10−4. Para las imágenes CFM y las imágenes cerebrales OT-LSM, el entrenamiento se llevó a cabo en una computadora de escritorio con una tarjeta gráfica GeForce RTX 3090 (Nvidia) y CPU Intel(R) Core(TM) i7-8700K @ 3.70 GHz. El tiempo de entrenamiento de un modelo difería según la naturaleza de la imagen y los hiperparámetros, como el tamaño del ROI por iteración de entrenamiento. Por ejemplo, el entrenamiento para un modelo de referencia de la simulación se seleccionó en la iteración 11 000 y tomó aproximadamente 19 horas utilizando un volumen de imagen de 16 bits de 1483 vóxeles por iteración. El consumo de memoria GPU fue de aproximadamente 24 GB en este caso. La inferencia tomó de 3 a 5 minutos en un volumen de prueba de 7003 vóxeles. En nuestra implementación, el modelo U-Net incluye 7,077 millones de parámetros de entrenamiento, el generador lineal profundo incluye 0,647 millones de parámetros de entrenamiento y cada red discriminatoria contiene 2,763 millones de parámetros de entrenamiento. El rendimiento de las redes capacitadas se midió mediante PSNR, SSIM, MS-SSIM27, BRISQUE39 y SNR. Las definiciones de PSNR, SSIM y SNR en este estudio se describen en las Notas complementarias 5, 6 y 7, respectivamente.

A menos que se especifique lo contrario, todas las redes neuronales se entrenaron una vez por conjunto de hiperparámetros y datos de entrada. En términos de inferencia, todos los experimentos se repitieron de forma independiente al menos tres veces por volumen de imagen, logrando resultados similares. Aquí, el marco propuesto no tiene referencias y se aplica a imágenes a gran escala donde las características biológicas pueden variar en el espacio de la imagen. En todos los experimentos, se evaluó todo el espacio de la imagen y se obtuvieron resultados similares.

Más información sobre el diseño de la investigación está disponible en el Resumen de informes de investigación de Nature vinculado a este artículo.

Los datos de prueba y entrenamiento para la simulación, el experimento CFM, el experimento OT-LSM para la desconvolución de PSF y el experimento OT-LSM con desenfoque artificial y los datos de prueba para el experimento OT-LSM para la corrección de artefactos se han depositado en la base de datos de Zenodo bajo https://doi.org/10.5281/zenodo.635294852. Los datos de entrenamiento para el experimento OT-LSM para la corrección de artefactos están disponibles del autor correspondiente previa solicitud razonable, debido a las limitaciones de tamaño. Los datos de origen se proporcionan con este documento.

El código para el entrenamiento y la predicción de la red (en Python/PyTorch) está disponible públicamente en el repositorio de Github53.

Chung, K. et al. Interrogación estructural y molecular de sistemas biológicos intactos. Naturaleza 497, 332–337 (2013).

Artículo ADS CAS Google Académico

Chung, K. & Deisseroth, K. Claridad para mapear el sistema nervioso. Nat. Métodos 10, 508–513 (2013).

Artículo CAS Google Académico

Yang, B. et al. Fenotipado de una sola célula dentro de tejido intacto transparente a través de la limpieza de todo el cuerpo. Celda 158, 945–958 (2014).

Artículo CAS Google Académico

Richardson, DS & Lichtman, JW Clarificación de limpieza de tejidos. Celda 162, 246–257 (2015).

Artículo CAS Google Académico

Hama, H. et al. Escalas: una paleta de limpieza óptica para imágenes biológicas. Nat. Neurosci. 18, 1518-1529 (2015).

Artículo CAS Google Académico

Santi, PA Microscopía de fluorescencia de hoja de luz: una revisión. J. Histoquímica Citoquímica 59, 129–138 (2011).

Artículo CAS Google Académico

Huisken, J., Swoger, J., Bene, FD, Wittbrodt, J. y Stelzer, EH Corte óptico en el interior de embriones vivos mediante microscopía de iluminación plana selectiva. Ciencia 305, 1007–1009 (2004).

Artículo ADS CAS Google Académico

Keller, PJ, Schmidt, AD, Wittbrodt, J. & Stelzer, EH Reconstrucción del desarrollo embrionario temprano del pez cebra mediante microscopía de hoja de luz escaneada. Ciencia 322, 1065–1069 (2008).

Artículo ADS CAS Google Académico

Verveer, PJ et al. Imágenes tridimensionales de alta resolución de especímenes grandes con microscopía basada en láminas ligeras. Nat. Métodos 4, 311–313 (2007).

Artículo CAS Google Académico

Demonios, SW Nanoscopia óptica de campo lejano. Ciencia 316, 1153–1158 (2007).

Artículo ADS CAS Google Académico

Gustafsson, MG Superando el límite de resolución lateral por un factor de dos usando microscopía de iluminación estructurada. J. Microsc. 198, 82–87 (2000).

Artículo CAS Google Académico

Schermelleh, L. et al. Imágenes multicolores de subdifracción de la periferia nuclear con microscopía de iluminación estructurada en 3D. Ciencia 320, 1332–1336 (2008).

Artículo ADS CAS Google Académico

Hell, SW & Wichmann, J. Rompiendo el límite de resolución de difracción por emisión estimulada: microscopía de fluorescencia de agotamiento de emisión estimulada. Optar. Letón. 19, 780 (1994).

Artículo ADS CAS Google Académico

Schermelleh, L., Heintzmann, R. & Leonhardt, H. Una guía para la microscopía de fluorescencia de súper resolución. J. Cell Biol. 190, 165–175 (2010).

Artículo CAS Google Académico

Power, RM & Huisken, J. Una guía para la microscopía de fluorescencia de hoja de luz para imágenes multiescala. Nat. Métodos 14, 360–373 (2017).

Artículo CAS Google Académico

Ahrens, MB, Orger, MB, Robson, DN, Li, JM y Keller, PJ Imágenes funcionales de todo el cerebro a resolución celular mediante microscopía de hoja de luz. Nat. Métodos 10, 413–420 (2013).

Artículo CAS Google Académico

Glaser, AK et al. Microscopía de hoja de luz para patología no destructiva sin portaobjetos de muestras clínicas grandes. Nat. biomedicina Ing. 1, 1–10 (2017).

Artículo Google Académico

Wang, H. et al. El aprendizaje profundo permite una superresolución de modalidad cruzada en microscopía de fluorescencia. Nat. Métodos 16, 103–110 (2019).

Artículo CAS Google Académico

Weigert, M. et al. Restauración de imágenes con reconocimiento de contenido: superando los límites de la microscopía de fluorescencia. Nat. Métodos 15, 1090–1097 (2018).

Artículo CAS Google Académico

Weigert, M., Royer, L., Jug, F. & Myers, G. Reconstrucción isotrópica de imágenes de microscopía de fluorescencia 3D utilizando redes neuronales convolucionales. En Computación de imágenes médicas e intervención asistida por computadora—MICCAI 2017 (eds Descoteaux, M. et al.) 126–134 (Springer, Cham, 2017).

Zhang, H. et al. Microscopía de aprendizaje profundo de alta resolución y alto rendimiento basada en una red antagónica generativa sin registro. biomedicina Optar. Expreso 10, 1044 (2019).

Artículo Google Académico

Zhu, J.-Y., Park, T., Isola, P. & Efros, AA Traducción de imagen a imagen no emparejada usando redes antagónicas consistentes con el ciclo (2017). Documento presentado en la Conferencia Internacional sobre Visión por Computador (ICCV), 22–29 2017.

Sim, B., Oh, G., Kim, J., Jung, C. y Ye, JC Ciclo GAN impulsado por transporte óptimo para el aprendizaje no supervisado en problemas inversos. SIAM J. Imaging Sci. 13, 2281–2306 (2020).

Artículo MathSciNet Google Académico

Lim, S. et al. CycleGAN con kernel borroso para microscopía de deconvolución: geometría de transporte óptima. Trans. IEEE. Imágenes computacionales 6, 1127–1138 (2020).

Artículo MathSciNet Google Académico

Villani, C. Transporte óptimo: viejo y nuevo vol. 338 (Springer Science & Business Media, 2008).

Goodfellow, I. et al. Ghahramani, Z., Welling, M., Cortés, C., Lawrence, N. & Weinberger, KQ (eds) Redes adversariales generativas. (eds Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N. & Weinberger, KQ) Avances en sistemas de procesamiento de información neuronal, vol. 27 (Curran Associates, Inc., 2014).

Wang, Z., Simoncelli, E. y Bovik, A. Similitud estructural multiescala para la evaluación de la calidad de la imagen (2003). Documento presentado en la Trigésima Séptima Conferencia de Asilomar sobre Señales, Sistemas y Computadores, 9–12 2003.

Otsu, N. Un método de selección de umbral a partir de histogramas de nivel de gris. Trans. IEEE. Sist., Hombre, Cybern. 9, 62–66 (1979).

Artículo Google Académico

Ridler, TW y Calvard S. Umbralización de imágenes utilizando un método de selección iterativo. Trans. IEEE. Sist., Hombre, Cybern. 8, 630–632 (1978).

Artículo Google Académico

Glasbey, C. Un análisis de algoritmos de umbral basados en histogramas. CVGIP: Gráfico. Proceso de imagen de modelos. 55, 532–537 (1993).

Google Académico

Bogovic, JA, Hanslovsky, P., Wong, A. y Saalfeld, S. Registro sólido de imágenes de calcio mediante síntesis de contraste aprendida (2016). Documento presentado en el Simposio Internacional sobre Imágenes Biomédicas (ISBI), 13–16 2016.

Quan, T. et al. Neurogps-tree: reconstrucción automática de poblaciones neuronales a gran escala con neuritas densas. Nat. Métodos 13, 51–54 (2016).

Artículo CAS Google Académico

Kim, B. et al. Microscopía de hoja de luz de barrido axial abierto. Biomedical Optics Express 12, 2328–2338 (2021).

McGorty, R. et al. Microscopio abierto de iluminación plana selectiva para especímenes montados convencionalmente. Optics Express 23, 16142–16153 (2015).

Mcgorty, R., Xie, D. y Huang, B. Microscopía de iluminación de plano selectivo abierta de alto nivel para imágenes biológicas. Optics Express 25, 17798–17810 (2017).

Richardson, WH Método iterativo de restauración de imágenes basado en bayesiano. J. Sociedad Óptica. Soy. 62, 55 (1972).

Artículo ANUNCIOS Google Académico

Lucy, LB Una técnica iterativa para la rectificación de distribuciones observadas. The Astronomical J. 79, 745–754 (1974).

Sabio, D. et al. Deconvolutionlab2: un software de código abierto para microscopía de deconvolución. Métodos 115, 28–41 (2017).

Artículo CAS Google Académico

Mittal, A., Moorthy, AK & Bovik, AC Evaluación de calidad de imagen sin referencia en el dominio espacial. Trans. IEEE. Proceso de imagen. 21, 4695–4708 (2012).

Artículo ADS MathSciNet Google Scholar

Isola, P., Zhu, J.-Y., Zhou, T. & Efros, AA Traducción de imagen a imagen con redes antagónicas condicionales (2017). Documento presentado en la Conferencia sobre Visión por Computador y Reconocimiento de Patrones (CVPR), 21–26 2017.

Karras, T., Laine, S. & Aila, T. Una arquitectura generadora basada en estilos para redes antagónicas generativas (2019). Documento presentado en la Conferencia sobre Visión por Computador y Reconocimiento de Patrones (CVPR), 16–20 2019.

Gonzalez, RC & Woods, RE Procesamiento digital de imágenes (Pearson, 2018).

Belthangady, C. & Royer, LA Aplicaciones, promesas y peligros del aprendizaje profundo para la reconstrucción de imágenes de fluorescencia. Nat. Métodos 16, 1215–1225 (2019).

Artículo CAS Google Académico

Schindelin, J. et al. Fiji: una plataforma de código abierto para el análisis de imágenes biológicas. Nat. Métodos 9, 676–682 (2012).

Artículo CAS Google Académico

Ayachit, U. The ParaView Guide: A Parallel Visualization Application (Kitware, Inc., Clifton Park, NY, EE. UU., 2015).

Peng, H., Ruan, Z., Long, F., Simpson, J. & Myers, E. V3d permite la visualización en 3D en tiempo real y el análisis cuantitativo de conjuntos de datos de imágenes biológicas a gran escala. Nat. Biotecnología. 28, 348–353 (2010).

Artículo CAS Google Académico

Mao, X. et al. Redes adversariales generativas de mínimos cuadrados (2017). Documento presentado en la Conferencia Internacional sobre Visión por Computador (ICCV), 22–29 2017.

Ronneberger, O., Fischer, P. & Brox, T. U-net: Redes convolucionales para la segmentación de imágenes biomédicas (2015). Documento presentado en la Conferencia internacional sobre computación de imágenes médicas e intervención asistida por computadora (MICCAI), 5–9 2015.

Bell-Kligler, S., Shocher, A. & Irani, M. Cálculo del núcleo de superresolución ciega mediante una GAN interna (2019). Documento presentado en la Conferencia y Taller sobre Sistemas de Procesamiento de Información Neural (NeurIPS), del 8 al 14 de 2019.

He, K., Zhang, X., Ren, S. & Sun, J. Profundizando en los rectificadores: superando el rendimiento a nivel humano en la clasificación de imagenet (2015). Documento presentado en la Conferencia Internacional sobre Visión por Computador (ICCV), 11–18 2015.

Kingma, DP & Ba, J. Adam: Un método para la optimización estocástica (2014). Preimpresión en https://arxiv.org/abs/1412.6980.

Parque, H. et al. Conjunto de datos para superresolución isotrópica sin referencia para microscopía de fluorescencia volumétrica (2022). Zenodo https://doi.org/10.5281/zenodo.6352948.

Park, H. Neuroclear: superresolución isotrópica sin referencia para microscopía de fluorescencia volumétrica (2022). Zenodo https://doi.org/10.5281/zenodo.6371391.

Descargar referencias

HP y JCY recibieron el apoyo de la Fundación Nacional de Investigación de Corea (Grant NRF-2020R1A2B5B03001980 y NRF-2017M3C7A1047904). Las muestras de cerebro de ratones transgénicos fueron proporcionadas por el Dr. Chang Man Ha del Instituto de Investigación del Cerebro de Corea.

Departamento de Bioingeniería y Cerebro, Instituto Avanzado de Ciencia y Tecnología de Corea, Daejeon, Corea del Sur

Parque Hyoungjun y Jong Chul Ye

Departamento de Fisiología y Ciencias Biomédicas, Facultad de Medicina de la Universidad Nacional de Seúl, Seúl, Corea del Sur

Myeongsu Na y Sunghoe Chang

División de Biociencias Integrativas y Biotecnología, Universidad de Ciencia y Tecnología de Pohang, Pohang, Corea del Sur

Bumju Kim y Ki Hean Kim

Departamento de Ingeniería Mecánica, Universidad de Ciencia y Tecnología de Pohang, Pohang, Corea del Sur

Parque Soohyun y Ki Hean Kim

Instituto de Investigación de Neurociencias, Facultad de Medicina de la Universidad Nacional de Seúl, Seúl, Corea del Sur

Sunghoe Chang

Kim Jaechul Graduate School of AI, Instituto Avanzado de Ciencia y Tecnología de Corea, Daejeon, Corea del Sur

Jong Chul Ye

También puede buscar este autor en PubMed Google Scholar

HP concibió e implementó la investigación. JCY supervisó el proyecto en su concepción y discusión. MN generó los datos de imágenes CFM. SC supervisó la proyección de imagen CFM. BK y SP generaron los datos de imágenes de OT-LSM. KK supervisó la proyección de imagen OT-LSM. HP y JCY escribieron el manuscrito.

Correspondencia a Jong Chul Ye.

Los autores declaran no tener conflictos de intereses.

Nature Communications agradece a los revisores anónimos por su contribución a la revisión por pares de este trabajo. Los informes de los revisores están disponibles.

Nota del editor Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Park, H., Na, M., Kim, B. et al. El aprendizaje profundo permite una superresolución isotrópica sin referencias para la microscopía de fluorescencia volumétrica. Nat Comun 13, 3297 (2022). https://doi.org/10.1038/s41467-022-30949-6

Descargar cita

Recibido: 18 mayo 2021

Aceptado: 10 de mayo de 2022

Publicado: 08 junio 2022

DOI: https://doi.org/10.1038/s41467-022-30949-6

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Al enviar un comentario, acepta cumplir con nuestros Términos y Pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.

Blog