Los investigadores de Apple han desarrollado un modelo de IA que mejora drásticamente las fotografías extremadamente oscuras al integrar un modelo de imagen basado en difusión directamente en el proceso de procesamiento de imágenes de la cámara, lo que le permite recuperar detalles de los datos sin procesar del sensor que normalmente se perderían. Así es como lo hicieron.
El problema de las fotografías con poca luz extrema
Probablemente hayas tomado una fotografía en condiciones muy oscuras, lo que resultó en una imagen llena de ruido digital granulado.
Esto sucede cuando el sensor de imagen no capta suficiente luz.
Para intentar compensar esto, empresas como Apple han estado aplicando algoritmos de procesamiento de imágenes. que han sido criticados para crear efectos demasiado suaves, similares a los de una pintura al óleo, donde los detalles finos desaparecen o se reconstruyen en algo apenas reconocible o legible.
Introduzca DarkDiff
Para abordar este problema, investigadores de Apple y la Universidad Purdue han desarrollado un modelo llamado DarkDiff. Así lo presentan en un estudio llamado DarkDiff: Avanzando en la mejora cruda en condiciones de poca luz mediante la reasignación de modelos de difusión para cámaras ISP:
La fotografía de alta calidad en condiciones de poca luz extrema es un desafío pero impactante para las cámaras digitales. Con hardware informático avanzado, los algoritmos tradicionales del procesador de señal de imagen (ISP) de la cámara están siendo reemplazados gradualmente por redes profundas eficientes que mejoran las imágenes sin procesar ruidosas de manera más inteligente. Sin embargo, los modelos existentes basados en regresión a menudo minimizan los errores de píxeles y dan como resultado un suavizado excesivo de fotografías con poca luz o sombras profundas. Trabajos recientes han intentado abordar esta limitación entrenando un modelo de difusión desde cero, pero esos modelos todavía tienen dificultades para recuperar detalles nítidos de la imagen y colores precisos. Introducimos un marco novedoso para mejorar imágenes sin procesar con poca luz al reasignar modelos de difusión generativa previamente entrenados con la cámara ISP. Amplios experimentos demuestran que nuestro método supera lo último en calidad de percepción en tres desafiantes puntos de referencia de imágenes sin procesar con poca luz.
En otras palabras, en lugar de aplicar IA en la etapa de posprocesamiento, reasignaron Stable Diffusion (un modelo de código abierto entrenado en millones de imágenes) para comprender qué detalles debería existe en áreas oscuras de las fotografías considerando su contexto general y lo integró en el proceso de procesamiento de señales de imágenes.
De hecho, su enfoque introduce un mecanismo que calcula la atención sobre parches de imágenes localizadas, lo que ayuda a preservar las estructuras locales y mitiga las alucinaciones como en la imagen a continuación, donde la IA de reconstrucción cambia el contenido de la imagen por completo.
Con este enfoque, el ISP de la cámara aún maneja el procesamiento inicial necesario para dar sentido a los datos sin procesar del sensor, incluidos pasos como el balance de blancos y la demostración. DarkDiff luego opera en esta imagen RGB lineal, eliminándola y produciendo directamente la imagen sRGB final.
DarkDiff también utiliza una técnica de difusión estándar llamada guía sin clasificador, que básicamente controla con qué fuerza el modelo debe seguir la imagen de entrada, en comparación con sus antecedentes visuales aprendidos.
Con una guía menor, el modelo produce patrones más suaves, mientras que una guía mayor lo alienta a generar texturas más nítidas y detalles más finos (lo que a su vez, también aumenta el riesgo de producir artefactos no deseados o contenido alucinado).
Para probar DarkDiff, los investigadores utilizaron fotografías reales tomadas con luz extremadamente baja con cámaras como la Sony A7SII, comparando los resultados con otros modelos de mejora sin procesar y líneas de base basadas en difusión, incluida ExposureDiffusion.
Las imágenes de prueba se capturaron de noche con tiempos de exposición de tan solo 0,033 segundos, y las versiones mejoradas de DarkDiff se compararon con fotografías de referencia capturadas con una exposición 300 veces más larga en un trípode.
Estos son algunos de los resultados (que te animamos a ver) en plena calidad en el estudio original):
DarkDiff no está exento de problemas
Los investigadores señalan que su procesamiento basado en IA es significativamente más lento que los métodos tradicionales y probablemente requeriría procesamiento en la nube para compensar los altos requisitos computacionales que agotarían rápidamente la batería si se ejecutara localmente en un teléfono. Además de eso, también notan limitaciones en el reconocimiento de texto que no está en inglés en escenas con poca luz.
También es importante tener en cuenta que en ninguna parte del estudio se sugiere que DarkDiff llegue pronto a los iPhone. Aún así, el trabajo demuestra el enfoque continuo de Apple en los avances en la fotografía computacional.
En los últimos años, esta se ha convertido en un área de interés cada vez más importante en todo el mercado de teléfonos inteligentes, ya que los clientes exigen capacidades de cámara que superen lo que las empresas pueden colocar físicamente dentro de sus dispositivos.
Para leer el estudio completo y ver comparaciones adicionales entre DarkDiff y otros métodos de eliminación de ruido, sigue este enlace.
Ofertas de accesorios en Amazon
FTC: Utilizamos enlaces de afiliados automáticos que generan ingresos. Más.
