Kolmogorow-Verteilung

Die Kolmogorow-Verteilung ist eine stetige Wahrscheinlichkeitsverteilung, die als Grenzverteilung einer Teststatistik des Kolmogorow-Smirnow-Anpassungstests für einen über alle Grenzen wachsenden Stichprobenumfang auftritt.

Definition

Eine stetige Zufallsvariable ${\displaystyle X}$ heißt Kolmogorow-verteilt, falls sie die Verteilungsfunktion

${\displaystyle P(X\leq x)=K(x):={\begin{cases}1-2\sum \limits _{k=1}^{\infty }(-1)^{k-1}e^{-2k^{2}x^{2}}&{\text{für }}x>0\\0&{\text{für }}x\leq 0\end{cases}},\quad x\in \mathbb {R} }$

hat.^[1][2] Die zugehörige Wahrscheinlichkeitsverteilung heißt Kolmogorow-Verteilung.

Eigenschaften

Eine alternative Summendarstellung der Verteilungsfunktion^[3][4] ist

${\displaystyle K(x)={\frac {1}{x{\sqrt {2\pi }}}}\sum _{k=1}^{\infty }\exp \left(-{\frac {(2k-1)^{2}\pi ^{2}}{8x^{2}}}\right),\quad x>0\;.}$

Diese alternative Darstellung ist für numerische Berechnungen in bestimmten Fällen günstiger.^[3]

Für eine Kolmogorow-verteilte Zufallsvariable ${\displaystyle X}$ gilt

${\displaystyle P(X>0)=1\;.}$

Die Zufallsvariable ${\displaystyle X}$ hat den Erwartungswert

${\displaystyle \mathbb {E} [X]={\sqrt {\frac {\pi }{2}}}\ln(2)}$

und die Varianz

${\displaystyle \mathrm {Var} [X]={\frac {\pi ^{2}}{12}}-{\frac {\pi }{2}}\ln ^{2}(2)\;.}$^[3]

Anwendung

Die Kolmogorow-Verteilung wird als approximative Wahrscheinlichkeitsverteilung der Teststatistik für die Durchführung eines approximativen Kolmogorow-Smirnow-Anpassungstests verwendet, falls der Stichprobenumfang hinreichend groß ist, um die asymptotische Verteilung der Teststatistik – nämlich die Kolmogorow-Verteilung – zu verwenden. Die ${\displaystyle (1-\alpha )}$-Quantile der Kolmogorow-Verteilung für ${\displaystyle \alpha =0.20,0.10,0.05,0.02,0.01}$ sind näherungsweise ${\displaystyle 1.073,1.224,1.358,1.517,1.628}$.^[5]

Eine Approximation der Verteilungsfunktion ergibt sich, wenn nur der erste Summand für ${\displaystyle k=1}$ verwendet wird,

${\displaystyle K(x)\approx K^{(1)}(x)=1-2e^{-2x^{2}},\quad x>0.}$

Das ${\displaystyle (1-\alpha )}$-Quantil ${\displaystyle k_{1-\alpha }}$ der Kolmogorow-Verteilung ergibt sich dann näherungsweise als Lösung der Gleichung ${\displaystyle \alpha =2e^{-2x^{2}}}$. Dies führt zur Näherungsformel

${\displaystyle k_{1-\alpha }\approx {\sqrt {-{\frac {1}{2}}\ln \left({\frac {\alpha }{2}}\right)}}}$,

die zu Werten führt, die bis zur dritten Nachkommastelle mit den oben angegebenen Tabellenwerten übereinstimmen. Manchmal wird diese Formel angegeben, ohne klarzustellen, dass es sich um eine doppelte Approximation handelt.^[6] Die asymptotische Verteilung wird für endlichen Stichprobenumfang verwendet und dabei wird nur die Approximation ${\displaystyle K_{1}(x)}$ der Kolomogorow-Verteilung verwendet. Wie der Vergleich der Funktionen ${\displaystyle K}$ und ${\displaystyle K^{(1)}}$ in der Abbildung zeigt, ist die Approximation ${\displaystyle K^{(1)}}$ zur Quantilbestimmung nur für hinreichend kleine Werte von ${\displaystyle \alpha }$, z. B. für ${\displaystyle \alpha <1/2}$, anwendbar. Insbesondere ist die Approximation ${\displaystyle K^{(1)}}$ keine Verteilungsfunktion.

Theoretischer Hintergrund

Die reellwertigen Zufallsvariablen ${\displaystyle X_{1},\dots ,X_{n}}$ seien stochastisch unabhängig und identisch verteilt mit der stetigen Verteilungsfunktion ${\displaystyle F}$.

• Dann hängt die Wahrscheinlichkeitsverteilung der Stichprobenfunktion

${\displaystyle K_{n}={\sqrt {n}}\sup _{x\in \mathbb {R} }|{\tilde {F}}_{n}(x)-F(x)|\;,}$

wobei

${\displaystyle {\tilde {F}}_{n}(x):={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{(-\infty ,x]}(X_{i}),\quad x\in \mathbb {R} }$

die zufällige empirische Verteilungsfunktion bezeichnet, nicht von ${\displaystyle F}$ ab. ${\displaystyle K_{n}}$ ist also bezüglich der Klasse aller stetigen Verteilungsfunktionen eine verteilungsfreie Statistik.

• Außerdem konvergiert die Folge ${\displaystyle (K_{n})_{n\in \mathbb {N} }}$ in Verteilung gegen die Kolmogorow-Verteilung, es gilt daher

${\displaystyle \lim _{n\to \infty }P(K_{n}\leq x)=K(x),\quad {\text{für alle }}x\in \mathbb {R} }$.

${\displaystyle K_{n}}$ ist die Teststatistik des Kolmogorov-Smirnov-Anpassungstest für den Stichprobenumfang ${\displaystyle n}$. Sie heißt auch Kolmogorow-Smirnow-Statistik. Es gibt Tabellen für Quantile der Verteilung von ${\displaystyle K_{n}}$.^[7]

Für große Stichprobenumfänge können die Quantile der Kolmogorow-Verteilung verwendet werden.^[5] Es gibt eine Tabelle für Werte der Verteilungsfunktion der Kolomogorov-Verteilung.^[8]

Literatur

• Kevin Ford: From Kolmogorov’s theorem on empirical distribution to number theory. In: Eric Charpentier, Annick Lesne, Nikolai Kapitonowitsch Nikolski (Hrsg.): Kolmogorov’s Heritage in Mathematics. Springer, Berlin / Heidelberg 2007, ISBN 978-3-540-36349-1, S. 97–108, doi:10.1007/978-3-540-36351-4_5. 
• A. Kolmogoroff: Sulla determinazione empirica di una legge di distribuzione. In: Giornale dell’Istituto italiano degli attuari. Band IV, Nr. 1, 1933, S. 83–91 (italienisch, sbn.it). 

A. Kolmogorov: On the Empirical Determination of a Distribution Function. In: Samuel Kotz, Norman L. Johnson (Hrsg.): Breakthroughs in Statistics, Volume II – Methodology and Distribution. Springer-Verlag, Berlin / Heidelberg / New York 1992, ISBN 3-540-94037-5, S. 106–113, doi:10.1007/978-1-4612-4380-9_10 (Übersetzt aus dem Italienischen von Quirino Meneghini, 1990). 

• P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, Kolmogorow-Verteilung, S. 188–189, 627. 
• M. A. Stephens: Introduction to Kolmogorov (1933) On the Empirical Determination of a Distribution Function. In: Samuel Kotz, Norman L. Johnson (Hrsg.): Breakthroughs in Statistics, Volume II – Methodology and Distribution. Springer-Verlag, Berlin / Heidelberg / New York 1992, ISBN 3-540-94037-5, S. 93–105, doi:10.1007/978-1-4612-4380-9_9. 

Einzelnachweise und Anmerkungen

1. ↑ Die leicht abweichende Darstellung

   ${\displaystyle K(x)=\sum \limits _{j=-\infty }^{\infty }(-1)^{j}e^{-2j^{2}x^{2}},\quad x>0}$

   findet sich im Lexikon der Stochastik: Kolmogorow-Verteilung. S. 188.  In dieser Form wurde die Verteilungsfunktion auch durch Kolmogorow in der Originalarbeit angegeben: A. Kolmogoroff: Sulla determinazione empirica di una legge di distribuzione. In: Giornale dell’Istituto italiano degli attuari. Band IV, Nr. 1, 1933, S. 83–91, S. 91 (italienisch, sbn.it).  Diese ist äquivalent zur oben angegebenen Form.
2. ↑ Eine - vermutlich fehlerhafte – Darstellung der Verteilungsfunktion ${\displaystyle K(x)}$ mit ${\displaystyle e^{-k^{2}x^{2}}}$ anstelle von ${\displaystyle e^{-2k^{2}x^{2}}}$ findet sich in den beiden folgenden Quellen:
   • N. Smirnov: Table for estimating the goodness of fit for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 279–281, S. 279, JSTOR:2236278. 
   • William Feller: On the Kolmogorov-Smirnov limit theorems for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 177–186, S. 178, JSTOR:2236265. 
   Andererseits findet sich die in der Definition angegebene Form der Verteilungsfunktion mit dem Faktor 2 im Exponenten auch in diesen Quellen:
   • Anirban DasGupta: Asymptotic Theory of Statistics and Probability. Springer, New York 2008, ISBN 978-0-387-75970-8, S. 425, doi:10.1007/978-0-387-75971-5. 
   • Jaroslav Hájek, Zbyněk Šidák, Pranab K. Sen: Theory of Rank Tests. 2. Auflage. Academic Press, San Diego et al. 1999, ISBN 978-0-12-642350-1, S. 247, doi:10.1016/B978-0-12-642350-1.X5017-6. 
   • Robert J. Serfling: Approximation Theorems of Mathematical Statistics. Wiley, New York 1980, ISBN 0-471-21927-4, S. 62. 
   • Galen R. Shorack, Jon A. Wellner: Empirical Processes with Applications in Statistics. Wiley, New York 1986, S. 142 (Unveränderter Nachdruck: SIAM, Philadelphia 2009, ISBN 978-0-89871-684-9). 
3. ↑ ^{a b c} Lexikon der Stochastik: Kolmogorow-Verteilung. S. 188. 
4. ↑ William Feller: On the Kolmogorov-Smirnov limit theorems for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 177–186, S. 178, JSTOR:2236265. 
5. ↑ ^{a b} Z. B. Lexikon der Stochastik: Tafel XIII B: Kolmogorow-Test: Quantile der Kolmogorow-Verteilung. S. 627. 
6. ↑ Lothar Sachs, Jürgen Hedderich: Angewandte Statistik. Methodensammlung mit R. 17. Auflage. Springer Spektrum, Berlin / Heidelberg 2018, ISBN 978-3-662-62293-3, S. 496, doi:10.1007/978-3-662-62294-0. 
7. ↑ Z. B. Lexikon der Stochastik: Tafel XIII A: Kolmogorow-Test: Quantile ${\displaystyle k_{n;1-\alpha }}$. S. 625–626. 
8. ↑ N. Smirnov: Table for estimating the goodness of fit for empirical distributions. In: The Annals of Mathematical Statistics. Band 19, Nr. 2, 1948, S. 279–281, JSTOR:2236278.  Diese Tabelle wurde zuerst abgedruckt in N. Smirnov: On the estimation of the discrepancy between empirical curves of distribution for two independent samples. In: Bulletin Mathématique de l'Université Moscou. Band 2, Nr. 2, 1939.  Die Tabelle ist wiederabgedruckt auf S. 143 in Galen R. Shorack, Jon A. Wellner: Empirical Processes with Applications in Statistics. Wiley, New York 1986 (Unveränderter Nachdruck: SIAM, Philadelphia 2009, ISBN 978-0-89871-684-9).