Smits Paradoxon

In der klassischen mathematischen Statistik gilt, salopp formuliert: Je größer die Stichprobe, desto besser die Schätzung (genauer siehe Hauptsatz der mathematischen Statistik). In der Statistik zufälliger Prozesse ist es jedoch möglich – und wird dann in der Regel als paradox empfunden –, dass eine Schätzung durch Vergrößerung des Stichprobenumfangs schlechter wird. S. J. Wilenkin war der erste, dem das 1959 auffiel,^[1] doch waren in seiner Arbeit Fehler, so dass J. C. Smit 1961^[2] der Namensgeber des Paradoxons wurde.

Das Paradoxon

Sei ${\displaystyle X_{t}}$ ein schwach stationärer zufälliger Prozess mit unbekanntem konstanten Erwartungswert ${\displaystyle \mathrm {E} X_{t}=m}$ und (bekannter) Kovarianzfunktion ${\displaystyle r(t-s)}$. Der Prozess kann für ${\displaystyle t\in T\subset \mathbb {R} }$ beobachtet werden. Seien ${\displaystyle \quad x_{t_{1}},\cdots ,x_{t_{n}};\quad t_{i}\in T\quad n}$ (diskrete) Beobachtungen und ${\displaystyle x_{t},t\in T}$ die kontinuierliche Beobachtung des Prozesses über das gesamte ${\displaystyle T}$. Dann sind

${\displaystyle {\hat {m}}={\frac {1}{n}}\sum _{i=1}^{n}x_{t_{i}};\quad \quad {\tilde {m}}={\frac {1}{|T|}}\int _{T}x_{t}\mathrm {d} t}$

erwartungstreue Schätzungen für ${\displaystyle m}$. Intuitiv scheint klar zu sein, dass ${\displaystyle {\tilde {m}}}$ besser ist als ${\displaystyle {\hat {m}}}$, weil es mehr Informationen ausnutzt, nämlich Informationen aus ganz ${\displaystyle T}$, während ${\displaystyle {\hat {m}}}$ nur punktuelle Informationen nutzt. Doch schon für einfache Spezialfälle zeigt sich das Gegenteil: ${\displaystyle {\hat {m}}}$ ist besser als ${\displaystyle {\tilde {m}}}$, wenn man die Varianz der Schätzer als Kriterium nimmt:

${\displaystyle \operatorname {Var} ({\hat {m}})={\frac {1}{n^{2}}}\sum _{i,j=1}^{n}r(t_{i}-t_{j});\quad \operatorname {Var} ({\tilde {m}})={\frac {1}{|T|^{2}}}\int _{T}\int _{T}r(t-s)\mathrm {d} t\mathrm {d} s}$

Beispiel

Sei ${\displaystyle T=[-1,1];\quad r(t-s)=\mathrm {e} ^{-|t-s|};\quad t_{1}=-1,\quad t_{2}=-0{,}5,\quad t_{3}=0,\quad t_{4}=0{,}5,\quad t_{5}=1}$, d. h. ${\displaystyle n=5}$ diskrete Beobachtungsstellen. Dann ergibt sich ${\displaystyle \operatorname {Var} ({\hat {m}})=0{,}529;\quad \operatorname {Var} ({\tilde {m}})=0{,}568)}$, d. h. ${\displaystyle {\hat {m}}}$ ist besser als ${\displaystyle {\tilde {m}}}$. Wenn man weitere Beobachtungen zwischen den bisherigen Stellen mit einbezieht, d. h. bei ${\displaystyle t_{6}=-0{,}75,\quad t_{7}=-0{,}25,\quad t_{8}=0{,}25,\quad t_{9}=0{,}75}$, dann verschlechtert sich die Varianz von ${\displaystyle {\hat {m}}}$ von ${\displaystyle 0{,}529}$ auf ${\displaystyle 0{,}542}$, d. h., eine „Verdichtung“ der Beobachtungen führt zu einem schlechteren Ergebnis.

Auflösung des Paradoxons

Die Schätzung ${\displaystyle {\tilde {m}}}$ ist für ${\displaystyle m}$ nicht die beste lineare erwartungstreue Schätzung (englisch Best Linear Unbiased Estimator, kurz BLUE), ${\displaystyle {\hat {m}}}$ wird also mit einer nicht-optimalen Schätzung verglichen. Die BLUE für ${\displaystyle m}$ ergibt sich nach einem Satz von Grenander^[3] in Form eines Stieltjesintegrales ${\displaystyle {\tilde {m}}^{*}=\int _{T}x_{t}\mathrm {d} G^{*}(t);\quad \int _{T}\mathrm {d} G^{*}(t)=1}$ als Lösung der Integralgleichung ${\displaystyle \int _{T}r(t-s)\mathrm {d} G^{*}(t)=c}$ mit ${\displaystyle c=\operatorname {Var} ({\tilde {m}}^{*})}$.

Fortsetzung Beispiel

Siehe auch.^[4] Mit den gleichen Setzungen wie in obigem Beispiel ergibt sich

${\displaystyle {\tilde {m}}^{*}={\frac {1}{4}}[x_{-1}+\int _{-1}^{1}x_{t}\mathrm {d} t+x_{+1}];\quad \operatorname {Var} ({\tilde {m}}^{*})=0{,}500}$.

${\displaystyle {\tilde {m}}^{*}}$ legt im Gegensatz zu ${\displaystyle {\tilde {m}}}$ Extragewichte auf den Rand des Beobachtungsintervalles (${\displaystyle t=-1,t=+1}$). Die diskrete Fünf-Punkte-Schätzung ${\displaystyle {\hat {m}}}$ approximiert diese Randgewichtung besser als ${\displaystyle {\tilde {m}}}$ und ist damit auf natürliche Weise der bessere Schätzer.

Praktische Bedeutung

Das für stochastische Prozesse geschilderte Phänomen gilt auch für zufällige Felder. Insbesondere in der Geostatistik ist es wichtig zu wissen, dass eine Netzverdichtung in Geoinformationssystemen keineswegs automatisch zu besseren Schätzergebnissen führt.^[5]

Einzelnachweise

1. ↑ S. J. Wilenkin: Ob ocenke srednego v stacionarnych processach. In: Teorija Verojatnost. IV, 1959, S. 451–453.
2. ↑ J. C. Smit: Estimation of the mean of a stationary stochastic process by equidistant observations. In: Trabojos de estadistica. 12, 1961, S. 35–45.
3. ↑ U. Grenander: Stochastic processes and statistical inference. In: Arkiv för Matematik. 1, 1950, S. 195–277.
4. ↑ W. Näther: Effective Observation of Random Fields. (= Teubner-Texte zur Mathematik. Band 72). Teubner Verlag, Leipzig 1985.
5. ↑ W. Näther: Gute und böse Beispiele aus der Versuchsplanung für stochastische Prozesse und Felder. In: Schriftenreihe des Institutes für Markscheidewesen und Geodäsie an der TU Bergakademie Freiberg. Heft 2, 2004, S. 8–19.