Farbe im Dunklen: Diese Infrarot-KI färbt Nachtsichtaufnahmen

Nachts sind alle Katzen grau, denn das men­schliche Auge nimmt im Dun­klen keine Far­ben wahr. Forschende in den USA haben nun jedoch eine Kün­stliche Intel­li­genz (KI) entwick­elt, die mith­il­fe von Deep Learn­ing aus Infrarot­bildern orig­i­nal­ge­treue Far­bauf­nah­men macht. Wie die Infrarot-KI das macht, liest Du hier. 

Damit kön­nen auch wir Men­schen Nacht­sicht in Farbe genießen – und sehen nicht mehr nur mono­chro­ma­tisch grüne Auf­nah­men. Doch wie funk­tion­iert das genau? Wir brin­gen Licht ins Dun­kle und zeigen Dir, was hin­ter der Nacht­sicht-KI steckt und was sie heute schon kann.

Mehrere Wellenlängen für eine Farbe

Infor­matik­er Pierre Bal­di, Auge­narzt Andrew Browne und sechs weit­ere Forschende, alle­samt an der Uni­ver­si­ty of Cal­i­for­nia in Irvine (UCI), zeigen in ihrer Forschungsar­beit, wie sich aus Infraro­tauf­nah­men mit mehreren Wellen­län­gen Far­ben rekon­stru­ieren lassen. Die in der wis­senschaftlichen Fachzeitschrift Plos One vorgestellte Nacht­sicht-KI kann orig­i­nal­ge­treue Farb­bilder von Gesichtern aus Infraro­tauf­nah­men berech­nen. Dazu benötigt sie wed­er sicht­bares Licht noch Infor­ma­tio­nen über die Auf­nahme. Das Nacht­sicht-Bild muss lediglich mit unter­schiedlichen Infrarot-Wellen­län­gen aufgenom­men wor­den sein.

So lernt die Nachtsicht-KI sichtbare Farben

Bis die Nacht­sicht-KI tat­säch­lich vorzeig­bare Ergeb­nisse liefern kon­nte, stand allerd­ings eine beson­dere Far­blehre auf dem Pro­gramm. Und zwar mith­il­fe eines selb­sten­twick­el­ten Lern­sys­tems. Die Idee hin­ter dem Forschung­spro­jekt ist, dass jede Farbe nicht nur sicht­bare Wellen­län­gen reflek­tiert, son­dern auch bes­timmte Infrarotwellen­län­gen. Weiß die KI also, welche sicht­bare Farbe sich aus der jew­eili­gen Kom­bi­na­tion aus Infrarotwellen­län­gen ergibt, dann lassen sich Infrarot­bilder in Farbe rekonstruieren.

Um die KI zu trainieren, brauchte sie Lern­fut­ter. Das bestand aus über 200 Bildern, die das Team erst in Farbe auf Papi­er aus­druck­te und anschließend mit unter­schiedlichen Wellen­län­gen aus dem sicht­baren sowie dem Infrarot­bere­ich fotografierte. Dann war die KI an der Rei­he, und zwar mit zwei getren­nten KI-Bere­ichen namens Gen­er­a­tor und Diskrim­i­na­tor. Der Ablauf war wie fol­gt: Der KI-Gen­er­a­tor bekam die Infrarot­bilder zu sehen und sollte daraus die passenden sicht­baren Wellen­län­gen gener­ieren. Der KI-Diskrim­i­na­tor hat­te das Ref­erenz­bild zur Ver­fü­gung und ver­glich es mit dem Ergeb­nis des Gen­er­a­tors. Gab es Unter­schiede, musste der Gen­er­a­tor seine Arbeit wiederholen.

Wo könnte die Nachtsicht-KI zum Einsatz kommen?

Die Genauigkeit der Infrarot-KI ist beein­druck­end, doch bis­lang kann sie lediglich drei Bilder pro Sekunde berech­nen und ist auf men­schliche Gesichter spezial­isiert. Um also Infrarotvideos flüs­sig in Farbe darzustellen und auch weit­ere Motive orig­i­nal­ge­treu rekon­stru­ieren zu kön­nen, muss die KI noch verbessert wer­den. Dann wären aber ver­schieden­ste Ein­satzbere­iche denkbar. Zum Beispiel bei Oper­a­tio­nen am Auge, bei denen meist die Net­zhaut der Patient:innen viel Licht aus­ge­set­zt ist und davon Schaden nehmen kann. Oder auch beim Beobacht­en von Tieren in freier Wild­bahn, wenn kün­stlich­es Licht sich auf das Ver­hal­ten auswirken könnte.

Wo siehst Du Vorteile von Nacht­sicht in Farbe? Hin­ter­lasse uns Deine Ideen in den Kommentaren.