Wie das iPhone die Spiegelreflexkameras eingeholt hat

Es ist ein offenes Geheimnis, dass Smartphones Aufnahmen beim Schießen und nach der Belichtung bearbeiten. Was passiert aber im Hintergrund? Wir erklären es.

Obwohl das erste iPhone eine Kamera eingebaut hatte, hat es Apple auf der legendären Keynote vom 9. Januar 2007 als eine Dreieinigkeit anderer Funktionen angepriesen: Internet-Gerät, iPod und ein Telefon. Doch mit der Weiterentwicklung des Smartphones wurde klar: Die Kamera ist eins der Kaufargumente bei der Auswahl eines Smartphones. Spätestens 2015 haben die Smartphones die führende Rolle bei der Fotografie übernommen: In dem Jahr wurden weltweit laut DXO Mark rund eine Billion Fotos gemacht, Großteil davon mit einem Smartphone.

Ungefähr zu der gleichen Zeit, zwischen 2013 und 2015, begannen die Smartphone-Hersteller, ernsthaft in die Entwicklung der eigenen Kameras zu investieren. Laut DXO Mark hatten Smartphones 2013 die digitalen Kameras bei Verkäufen überholt. Ab dem iPhone 5S als bestverkaufter Kamera und dem Nokia Lumia 1020 beginnt die Ära, in der Smartphones ihre größeren Wettbewerber - die DSLRs - nicht nur bei Verkäufen, sondern auch bei der Qualität der Bilder aufzuholen beginnen. Rund zehn Jahre später hält man eine Überschrift "Ist ein iPhone 14 Pro besser als DSLR?" nicht mehr für Clickbaiting, sondern für einen ernsthaften Vergleichstest.

Smartphone-Kamera und DSLR - die Unterschiede
Doch wie kommt man überhaupt dahin, eine Smartphone-Kamera mit der vollwertigen DSLR zu vergleichen? Schließlich haben beide Lösungen unübersehbare Unterschiede. Während DSLRs über einen Sensor von 35 mm Größe verfügen können, ist ein Fotosensor im herkömmlichen Smartphone wenige Millimeter groß.

Als Standard und in vielen Profi-Kameras eingesetzt gilt der Bildsensor in der sogenannten Full-Frame-Größe, 36 mm mal 24 mm. Dieser hat seinen Ursprung im analogen Film, eben in dieser 35-mm-Größe. Ein Full-Frame-Sensor hat eine Fläche von 864 Quadratmillimetern.

Selbst das neueste iPhone 14 Pro Max kommt mit seinen Kameras nicht ran: Laut Techinsights finden sich im Kamerasystem der neuesten iPhones vier Bildsensoren von jeweils 96,6 mm² (Hauptkamera), 40 mm² (Ultrawinkel), 26,5 mm² (Telekamera) und 18 mm² (Lidar). Das ist ein Unterschied von Faktor zehn, was automatisch bedeutet, dass der größere Sensor deutlich mehr Licht und dementsprechend Informationen einfangen kann.

Eine weitere Eingrenzung der Smartphone-Kameras, die größenbedingt ist, sind die absoluten Pixel-Größen in einem Sensor. Die DSLRs können Pixel in der Größe bis vier Mikron führen, beim iPhone 14 ist bei der größten Kamera ein Pixel lediglich 1,22 Mikron groß. Das hat direkte Auswirkungen auf die Farbdarstellung: Je größer ein Pixel, desto mehr Information kann er einfangen, desto genauer kann diese Information sein.

Hier kommt Bit pro Pixel als Maß: Größere Pixel können die Information im 12- bis 14-Bit-Format kodieren, also beispielsweise 4.096 bis 16.384 Farbschattierungen pro Pixel speichern. Die meisten Smartphone-Kameras kommen mit 10 Bit pro Pixel aus, das heißt, sie können bis zu 1.024 Farbschattierungen speichern. Die iPhones 12 und neuer haben allerdings diese Grenze überschritten: Im ProRaw-Format können die iPhones Bilder im 12-Bit-Format speichern.

Während Smartphone-Hersteller in den letzten Jahren bei der Sensorgröße etwas aufgeholt haben - ein hochwertiges Smartphone wie ein iPhone 14 Pro hat in etwa einen Sensor wie in einer High-End-Kompaktkamera, bleiben weitere Limitierungen erhalten: Ein recht eingeschränkter optischer Zoom wegen winziger physischer Abmessungen. Diese Einschränkung ist den optischen Gesetzen geschuldet und lässt sich mit cleveren Technologiegriffen nicht umgehen.

Die Kamera-Blende lässt sich direkt in der Foto-App auf einem iPhone nicht einstellen, es gibt mittlerweile viele gute Foto-Apps, die mehr Freiheit den NutzerInnen gewähren. Worauf aber die Smartphone-Kameras im Unterschied zu DSLRs zurückgreifen können, sind deutlich überlegene Prozessoren, die sich mit der Bearbeitung der Fotos beschäftigen.

Prozessor macht die Beschränkungen einer Smartphone-Kamera wett
Zwar haben moderne DSLR-Kameras ebenfalls Prozessoren, die immer mehr schlaue Funktionen erlauben, doch die können mit den aktuellen Prozessoren der Smartphone-Hersteller nicht mithalten. Apple entwickelt zum Beispiel einen eigenen Imagesensor-Prozessor, der für die Bildbearbeitung zuständig ist. Dieser Bildprozessor erledigt mehrere Schritte, bevor ein Lichtsignal zu einem fertigen Bild auf dem Bildschirm wird.

Eine kurze und verständliche Übersicht dieser Prozesse liefern die Entwickler der Halide-App in einem Blogpost. Als Erstes startet der Prozessor eine Dekonstruktion der Farbdaten aus den Helligkeitswerten des bestimmten Bildsignals, das der Bildsensor eingefangen hat. Das Problem dabei: Die Bildsensoren sind farbenblind und können nur die Lichtintensität unterscheiden.

Um die Farbdaten einzufangen, wird jeder Pixel auf dem Sensor mit einem Farbfilter - entweder Rot, Blau oder Grün - überdeckt. So kann ein Pixel die Helligkeit eines Farbkanals speichern. Um ein vollständiges Bild darauf zu rekonstruieren, versuchen unterschiedlich schlaue Algorithmen aus den Helligkeitswerten der benachbarten Pixel den Helligkeitswert zwei anderer fehlenden Farbkanäle bei dem "eigenen" Pixel zu raten.

Einer der nächsten Schritte ist die Umwandlung der eingefangenen Farbschattierungen in die Farbschattierungen, die das jeweilige Display darstellen kann. Die sind nicht immer gleich - für gewöhnlich kann ein Bildschirm deutlich weniger Farben darstellen, als beispielsweise das menschliche Auge (um 10 Millionen Farben) unterscheiden kann.

Mit dem Begriff "Farbe" folgt der Begriff Weißabgleich, denn das menschliche Auge kann die Farben nur bei Helligkeit unterscheiden. Die Farbperzeption bei Menschen orientiert sich nach der Umgebungsbeleuchtung und regelt diese automatisch: So kann eine rote Farbe im warmen Sonnenlicht als auch im kalten Kunstlicht als rot gesehen werden. Die gleiche Anpassung unternehmen die Bildprozessoren, damit die Farben angemessen jeder Beleuchtung dargestellt werden können.

Wie Carravaggio und Tizian die moderne Smartphone-Fotografie beeinflussen
Noch einen Nachteil der kleinen Smartphone-Kameras mit nicht genügend Licht und entsprechend wenig Informationen hat man mit einem schlauen Trick wettgemacht. Maßgeblich mitgestaltet hat die neue Entwicklung der Standford-Professor und spätere Google-Mitarbeiter Marc Levoy. Noch 2010 haben er und Kollegen eine offene API-Plattform entwickelt, die Foto-Hardware und Software in Einklang brachte und so genau die Imagesensoren und Linsen kontrollierte, so dass mehrere gleiche Bilder mit der unterschiedlichen Belichtung möglich waren. Die unterschiedliche Belichtung der gleichen Szene machte den sogenannten Caravaggio-Effekt möglich: Tiefe Schatten und gleichzeitig hell beleuchtete Stellen in einem Foto, mit einer kleinen Kamera schier unmöglich.

Einige Jahre später hat Google bzw. sein Pixel-Team seine Bearbeitung etwas angepasst, und eher die Werke von Tizian mit helleren Schatten und kräftigeren Farben als Grundlage genommen, der Trick blieb aber der Gleiche: Dafür wurden mehrere Bilder zu einem endgültigen Foto zusammengefügt.

Warum HDR die mobile Fotografie revolutioniert hat
High Dynamic Range, oder kurz HDR, bedeutet in dem Fall, dass das Bild gleichzeitig extrem dunkle und extrem helle Bereiche des Motivs naturgetreu darstellen kann. Während die DSLR diesen großen Kontrastbereich mithilfe der Sensoren erreichen, müssen die Smartphone-Kameras tricksen: Das Smartphone ist so programmiert, dass die Kamera in Sekundenschnelle unterschiedliche Bilder vom gleichen Motiv mit unterschiedlichen Belichtungen aufnimmt: Mit viel Schatten auf dem einen und viel Sonne bzw. Licht auf dem anderen. Apple nennt die Technologie Deep Fusion (ab iPhone 11), HDR bzw. Smart HDR gab es noch mit früheren iPhones. Ab iPhone 14 (Pro) hat Apple seine Deep-Fusion-Technologie noch weiter verfeinert: Statt sechs Frames erstellt das Smartphone zwölf Frames, was deutlich mehr Informationen liefert. Auch die Bionic Engine mit ihren neuronalen Kernen spielt eine Rolle, muss doch der Prozessor die komplette Bearbeitung erledigen.

Was bringt die Zukunft?
Alle Smartphones, nicht nur das iPhone, sind in den letzten Jahren hässlicher geworden. Gleichzeitig ist die Smartphone-Fotografie endgültig im Profi-Bereich angekommen. Die immer bessere Qualität der Fotos ist mehreren Entwicklungen geschuldet: Doppelte, gar dreifache Kameraanordnungen, gegebenenfalls mit Infrarotsensoren wie Lidar, liefern Rauminformationen, die früher nur Kameras mit großen Objektiven eigen waren. Die Erfindung von HDR hat dazu beigetragen, dass selbst kleine Fotosensoren in Handys genügend Informationen einfangen können, um naturgetreu schwierige Texturen, Objekte bei schlechter Belichtung, ja gar Sterne des Nachthimmels darstellen zu können.

In den letzten Jahren haben die Smartphone-Hersteller immer größere und entsprechend bessere Fotosensoren zumindest in die Hauptkameras eingebaut. Eben deswegen haben die meisten Handys mit guter Kamera die sogenannten Kamera-Buckel auf der Rückseite. Das hat sich jedoch positiv auf der Qualität der Fotos ausgewirkt.

Mit einem Problem müssen die Smartphone-Hersteller jedoch noch kämpfen: Der optische Zoom lässt sich nur schwer mit Software-Mitteln ersetzen. In einem Bereich kann jedoch die Computational Photography am Smartphone die herkömmlichen DSLRs leicht überholen - in der Verwaltung der Fotomediatheken. Schon jetzt ist die Suche am iPhone so stark, als dass das Gerät ohne Probleme Motive und gar Texte in Fotos finden kann. Mit iOS 16 lassen sich Duplikate leicht herausfiltern und löschen. Der nächste logische Schritt wäre hier, aus der Serie ähnlicher Fotos das Beste heraussuchen und den Rest zur Löschung vorschlagen. Apps wie Gemini können die Aufgabe übernehmen, doch wir hätten gerne eine native Lösung von Apple für die eigene Mediathek.