Neue KI-Methode entfernt Linsenreflexionen ziemlich realistisch

LightsOut ist ein KI-Forschungsprojekt, das Lichtquellen und Blendenflecken nicht einfach entfernt, sondern das Zusammenspiel von Licht und Szene neu interpretiert, um realistischere Bilder zu erzeugen.

Forscher der National Yang Ming Chiao Tung University haben eine neue Methode zur Entfernung von Linsenreflexionen entwickelt. Das LightsOut genannte System geht einen anderen Weg als bisherige Verfahren und erzielt dabei messbar bessere Ergebnisse.

Linsenreflexionen entstehen, wenn helle Lichtquellen wie die Sonne oder Straßenlampen störende Lichtflecken, Streifen und kreisförmige Artefakte im Bild verursachen. Diese sogenannten Lens Flares beeinträchtigen nicht nur die Bildqualität bei Smartphone-Fotos, sondern können auch kritische Computer-Vision-Anwendungen wie Objekterkennung oder autonomes Fahren stören.

Bestehende Entfernungsverfahren haben ein grundlegendes Problem: Sie funktionieren schlecht, wenn die verantwortlichen Lichtquellen außerhalb des Bildrands liegen oder nur teilweise sichtbar sind. In solchen Fällen fehlt den Algorithmen der nötige Kontext, um die Reflexionen korrekt zu identifizieren und zu entfernen.

LightsOut löst dies durch einen neuartigen dreistufigen Prozess. Zuerst analysiert das System das Eingangsbild und schätzt anhand der sichtbaren Reflexionsmuster, wo sich fehlende oder unvollständige Lichtquellen befinden könnten. Dabei berechnet es Position, Größe und Wahrscheinlichkeit für jede potenzielle Lichtquelle.

Im zweiten Schritt erweitert das System das Bild künstlich um diese Bereiche und rekonstruiert die wahrscheinlichen Lichtquellen mithilfe von Diffusionsmodellen, einer aktuell weit verbreiteten Methode zu generativen Bilderzeugung. Die Rekonstruktion berücksichtigt physikalische Gesetzmäßigkeiten der Lichtausbreitung und erzeugt realistische Beleuchtungsverhältnisse.

Erst im dritten Schritt entfernt LightsOut die Reflexionen mit herkömmlichen Methoden, die nun aber auf dem erweiterten Bild mit vollständigen Lichtquellen arbeiten können.

Die Forscher testeten ihr Verfahren umfangreich mit dem Flare7K-Datensatz, der 200 Bilder mit synthetischen und echten Reflexionen enthält. Dabei verbesserte LightsOut die Bildqualität in verschiedenen Szenarien deutlich. Bei einem gängigen Qualitätsmaß für die Bildschärfe (PSNR) stieg der Wert von 26,29 auf 28,41 Punkte bei Realbildern ohne sichtbare Lichtquellen.

Schönere Fotos und sicherere Autos

Das System funktioniert als universell einsetzbare Vorverarbeitungslösung. Es lässt sich vor bestehende Reflexionsentfernungsverfahren schalten, ohne dass diese verändert werden müssen. Die praktischen Einsatzmöglichkeiten sind vielfältig: Smartphone-Kameras könnten bessere Nachtaufnahmen und Gegenlichtfotos liefern. In sicherheitskritischen Anwendungen wie der Objekterkennung für autonome Fahrzeuge könnten Reflexionen von Scheinwerfern oder der Sonne weniger Probleme verursachen.

Die Forscher sehen aber noch Verbesserungspotenzial. Der dreistufige Prozess benötigt mehr Rechenzeit als direkte Methoden. Künftige Arbeiten könnten das System in einem einzigen, durchgängig trainierten Modell zusammenfassen.

Eine wissenschaftlichere Vorstellung des Projekts mit vielen Demonstrationsbeispielen findet ihr auf der GitHub-Website der Entwickler.

Beitragsbild: Jérémie Crausaz