Überabgetasteter binärer Bildsensor

Ein überabgetasteter binärer Bildsensor ist eine neue Art Bildsensor, deren Eigenschaften an herkömmlichen photographischen Film erinnern.^[1][2] Jeder Bildpunkt im Sensor hat eine binäre Ausgabe und gibt eine auf nur ein Bit quantisierte Messung der örtlichen Lichtintensität aus. Die Antwortfunktion des Bildsensor ist nichtlinear und ähnlich einer logarithmischen Funktion, was den Sensor für Hochkontrastbilder geeignet macht.^[1]

Einführung

Vor dem Aufkommen digitaler Bildsensoren nutzte die Photographie für den überwiegenden Teil ihrer Geschichte Film für die Aufzeichnung von Lichtbildinformationen. Die Grundlage jeglichen photographischen Films ist eine große Anzahl lichtempfindlicher Körner aus Silberhalogenid-Kristalle.^[3] Bei der Belichtung hat jedes mikrometergroße Korn ein binäres Schicksal: Es wird entweder von einigen einfallenden Photonen getroffen und wird „belichtet“ oder wird von dem Photonenbeschuss verfehlt und bleibt „unbelichtet“. Im folgenden Entwicklungsprozess werden belichtete Körner wegen ihrer veränderten chemischen Eigenschaften zu metallischem Silber umgewandelt und tragen zu opaken Stellen des Films bei; unbelichtete Körner werden ausgewaschen und hinterlassen transparente Bereiche auf dem Film. Daher ist photographischer Film im Grunde ein binäres Bildmedium, das örtliche Dichteunterschiede opaker Silberkörner für die Kodierung der ursprünglichen Lichtintensität nutzt. Dank der kleinen Größe und der großen Anzahl dieser Körner erkennt man bei einem gewissen Betrachtungsabstand diese quantisierte Natur des Filmes kaum und sieht nur einen kontinuierlichen Grauton.

Das Konstruieren eines binären Sensors, der das Prinzip des photographischen Films nachahmt, wurde zuerst von Fossum ausgemalt,^[4] welcher den Namen digital film sensor prägte. Jeder Bildpunkt im Sensor hat eine binäre Ausgabe und gibt eine auf nur ein Bit quantisierte Messung der örtlichen Lichtintensität aus. Zu Beginn der Belichtungszeit sind alle Bildpunkte auf 0 gesetzt. Ein Bildpunkt wird dann auf 1 gesetzt, wenn die innerhalb der Belichtungszeit generierte Ladung mindestens einen Schwellwert q erreicht. Das Auslesen der Bildpunkte kann wie bei einem DRAM geschehen.^[5] Mit der mit DRAM-Technologie erzielbaren räumlichen Auflösung von unter 20 nm ist die nur binäre Ladungsauflösung kein wesentlicher Nachteil, denn die kleinen Pixel haben ohnehin eine niedrige Sättigungskapazität (höchste Zahl Photoelektronen, die ein Bildpunkt enthalten kann). Zudem bedeuten Bildpunktgrößen weit unter der Beugungsgrenze von Licht eine hohe räumliche Überabtastung des Lichtfeldes, was den Nachteil der Quantisierung auf nur ein Bit mindert. Eine hohe zeitliche Überabtastung verbessert den Dynamikumfang weiter.

Bildgewinnung

Die Linse

(c) Toweryang, CC BY-SA 3.0

Abbildung 1 – Die Bildgewinnung. Die vereinfachte Architektur eines beugungsbegrenzten Bildaufzeichnungssystems. Einfallendes Lichtfeld ${\displaystyle \lambda _{0}(x)}$ durchläuft eine optische Linse, welche wie ein lineares System mit einer beugungsbegrenzten Punktspreizfunktion (PSF). Das Ergebnis ist ein geglättetes Lichtfeld ${\displaystyle \lambda (x)}$, welches anschließend vom Bildsensor aufgenommen wird.

Man denke an ein vereinfachtes Kameramodell wie es in Abbildung 1 gezeigt ist. Das ${\displaystyle \lambda _{0}(x)}$ ist das einfallende Lichtintensitätsfeld. Durch die Annahme gleichbleibender Lichtintensitäten innerhalb einer kurzen Belichtungsdauer kann das Feld allein durch eine Funktion der räumlichen Variable ${\displaystyle x}$ modelliert werden. Nach dem Durchlaufen des optischen Systems wird das ursprüngliche Lichtfeld ${\displaystyle \lambda _{0}(x)}$ durch die Linse gefiltert, welche sich wie ein lineares System mit einer festen Impulsantwort verhält. Durch Unvollkommenheiten (beispielsweise Abbildungsfehler) in der Linse kann die Impulsantwort, auch bekannt als die Punktspreizfunktion (PSF) des optischen Systemes, nicht gleich Dirac Delta sein und begrenzt somit die Auflösung des beobachtbaren Lichtfeldes. Eine grundlegendere, physikalische Begrenzung beruht allerdings auf der Lichtbeugung.^[6] Dadurch ist die PSF auch mit einer idealen Linse unvermeidbar ein kleiner, verwaschener Fleck. In der Optik wird ein solcher beugungsbegrenzter Fleck oft als Beugungsscheibchen bezeichnet,^[6] deren Radius ${\displaystyle R_{a}}$ berechnet werden kann als

${\displaystyle R_{a}=1.22\,wf,}$

wobei ${\displaystyle w}$ die Wellenlänge des Lichtes und ${\displaystyle f}$ die Blendenzahl des optischen Systems ist. Durch die Tiefpass-Natur (weichzeichnend) der PSF hat die resultierende ${\displaystyle \lambda (x)}$ eine begrenzte räumliche Auflösung, hat also eine begrenzte Anzahl von Freiheitsgraden pro Raumeinheit.

Der Sensor

Abbildung 2 – Das Modell des binären Bildsensors. Die Pixel (gezeigt als „buckets“) sammeln Photonen, deren Anzahl mit einem Quantisierungsschwellwert q verglichen wird. Die Abbildung zeigt den Fall mit q = 2. Die Ausgabe der Pixel ist binär: ${\displaystyle b_{m}=1}$ (also weiße Pixel), wenn mindestens zwei Photonen am Pixel aufgenommen wurden; sonst ${\displaystyle b_{m}=0}$ (also graue Pixel).

Abbildung 2 zeigt das binäre Sensormodell. Die ${\displaystyle s_{m}}$ stehen für die Belichtung, die ein Sensorpixel empfangen hat. Abhängig von den örtlichen Werten von ${\displaystyle s_{m}}$ (in der Abbildung als „buckets“ dargestellt) sammelt jedes Pixel eine unterschiedliche Anzahl Photonen, die auf seiner Oberfläche eintreffen. ${\displaystyle y_{m}}$ ist die Anzahl der Photonen, die während der Belichtungszeit auf der Oberfläche des ${\displaystyle m}$ten Pixel einfallen. Die Beziehung zwischen ${\displaystyle s_{m}}$ und der Photonenanzahl ${\displaystyle y_{m}}$ ist stochastisch. Genauer: ${\displaystyle y_{m}}$ kann als Realisierungen einer Poissonschen Zufallsvariable, deren Intensitätsparameter gleich ${\displaystyle s_{m}}$ist.

Jedes Pixel im Bildsensor fungiert als ein lichtempfindliches Gerät, das Photonen in elektrische Signale überträgt, deren Amplitude proportional zur Anzahl darauf eintreffender Photonen ist. Bei einem herkömmlichen Sensorentwurf werden die analogen elektrischen Signale nachher durch einen Analog-Digital-Umsetzer zu 8 bis 14 Bits (gewöhnlich je mehr desto besser) quantisiert. Der binäre Sensor quantisiert hingegen auf 1 Bit. In Abbildung 2 ist ${\displaystyle b_{m}}$ die quantisierte Ausgabe des ${\displaystyle m}$ten Pixels. Da die Photonenanzahlen ${\displaystyle y_{m}}$ aus Zufallsvariablen bezogen werden, sind es die Ausgaben ${\displaystyle b_{m}}$ des Binärsensors ebenfalls.

Räumliche und zeitliche Überabtastung

Wenn zeitliche Überabtastung zugelassen wird, also mit gleichbleibender Belichtungszeit ${\displaystyle \tau }$ nacheinander mehrere separate Bilder aufgenommen werden, so gleicht die Leistung des binären Sensors unter gewissen Bedingungen der eines Sensors mit demselben Maß an räumlicher Überabtastung.^[2] Dies bedeutet, dass zwischen räumlicher und zeitlicher Überabtastung abgewogen werden kann. Dies ist recht wichtig, da üblicherweise technische Begrenzungen für die Pixelgröße und die Belichtungszeit bestehen.

Vorteile gegenüber herkömmlichen Sensoren

Durch die begrenzte Sättigungskapazität herkömmlicher Bildpunkte wird das Pixel bei zu großer Lichtintensität gesättigt. Aus diesem Grund ist der Dynamikumfang des Pixels gering. Beim überabgetasteten binären Bildsensor ist der Dynamikumfang nicht für ein einzelnes, sondern eine Pixelgruppe definiert, was zu einem hohen Dynamikumfang führt.^[2]

Rekonstruktion

(c) Toweryang, CC BY-SA 3.0

Abbildung 4 – Rekonstruktion eines Bildes aus den binären Messungen eines SPAD^[7]-Sensors mit einer räumlichen Auflösung von 32×32 Pixeln. Das letztendliche Bild (untere rechte Ecke) entsteht durch Integration von 4096 aufeinanderfolgenden Aufnahmen, derer 11 abgebildet sind.

Eines der wichtigsten Probleme bei überabgetasteten binären Bildsensoren ist die Rekonstruktion der Lichtintensität ${\displaystyle \lambda (x)}$ aus der binären Messung ${\displaystyle b_{m}}$. Es kann mit der Maximum-Likelihood-Methode gelöst werden.^[2] Abbildung 4 zeigt die Ergebnisse einer Rekonstruktion der Lichtintensität aus 4096 binären Aufnahmen aus einer Einzelphotonen-Lawinenphotodioden-Kamera (SPADs-Kamera).^[7]

Quellen

1. ↑ ^{a b} L. Sbaiz, F. Yang, E. Charbon, S. Süsstrunk und M. Vetterli: The Gigavision Camera, Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Seiten 1093–1096, 2009.
2. ↑ ^{a b c d} F. Yang, Y. M. Lu, L. Saibz und M. Vetterli: Bits from Photons: Oversampled Image Acquisition Using Binary Poisson Statistics, IEEE Transaction on Image Processing, Band 21, Ausgabe 4, Seiten 1421–1436, 2012.
3. ↑ T. H. James: The Theory of The Photographic Process, 4. Ausgabe, New York: Macmillan Publishing Co., Inc., 1977.
4. ↑ E. R. Fossum: What to do with sub-diffraction-limit (SDL) pixels? – A proposal for a gigapixel digital film sensor (DFS), in IEEE Workshop on Charge-Coupled Devices and Advanced Image Sensors, Nagano, Juni 2005, Seiten 214–217.
5. ↑ S. A. Ciarcia: A 64K-bit dynamic RAM chip is the visual sensor in this digital image camera, Byte Magazine, Seiten 21–31, September 1983.
6. ↑ ^{a b} M. Born und E. Wolf, Principles of Optics, 7. Ausgabe, Cambridge: Cambridge University Press, 1999
7. ↑ ^{a b} L. Carrara, C. Niclass, N. Scheidegger, H. Shea und E. Charbon: A gamma, X-ray and high energy proton radiation-tolerant CMOS image sensor for space applications, in IEEE International Solid-State Circuits Conference, Februar 2009, Seiten 40–41.