Lemma von Stein

Das Lemma von Stein ist in der Testtheorie, einem Teilgebiet der mathematischen Statistik, eine Aussage darüber, wie sich die Wahrscheinlichkeit für einen Fehler 2. Art bei Neyman-Pearson-Tests für größer werdende Stichproben verändert.

Die Aussage ist nach Charles Stein benannt, der sie 1952 bewies.

Rahmenbedingungen

Gegeben sei ein statistisches Modell ${\displaystyle (X,{\mathcal {A}},\{P_{0},P_{1}\})}$ mit einfacher Nullhypothese ${\displaystyle P_{0}}$ und einfacher Alternative ${\displaystyle P_{1}}$, für die beide die Wahrscheinlichkeitsdichtefunktionen ${\displaystyle f_{0}}$ und ${\displaystyle f_{1}}$ existieren und echt positiv sind. Des Weiteren sei ${\displaystyle (X^{\mathbb {N} },{\mathcal {A}}^{\mathbb {N} },\{P_{0}^{\mathbb {N} },P_{1}^{\mathbb {N} }\})}$ das entsprechende unendliche Produktmodell und ${\displaystyle X_{i}}$ die Projektion auf die Komponenten des Produktmodells.

Sei ${\displaystyle \Phi _{n}}$ ein Neyman-Pearson-Test zum Niveau ${\displaystyle \alpha }$, der nur von ${\displaystyle X_{1},\dots ,X_{n}}$ abhängt. Des Weiteren bezeichne

${\displaystyle D(P_{0}\|P_{1}):=\int _{-\infty }^{\infty }f_{0}(x)\cdot \log {\frac {f_{0}(x)}{f_{1}(x)}}\;\mathrm {d} x}$

die Kullback-Leibler-Entropie von ${\displaystyle P_{0}}$ und ${\displaystyle P_{1}}$

Aussage

Unter den obigen Bedingungen gilt: Die Trennschärfe von ${\displaystyle \Phi _{n}}$ strebt mit exponentieller Geschwindigkeit gegen 1. Genauer gilt

${\displaystyle \operatorname {E} _{P_{1}}(\Phi _{n})\approx 1-\exp(-nD(P_{0}\|P_{1}))}$

für große ${\displaystyle n}$.

Interpretation

Nach dem Neyman-Pearson-Lemma sind Neyman-Pearson-Tests gleichmäßig beste Tests, haben also eine größere Trennschärfe als jeder weitere Test zum selben Niveau. Das Lemma von Stein ergänzt diese Aussage noch, indem es angibt, wie groß die Trennschärfe wird. Somit sind Neyman-Pearson-Tests nicht nur gleichmäßig besser als jeder andere Test, sondern auch noch gut in dem Sinne, dass ihre Trennschärfe beliebig nahe an 1 herankommt sowie dass dies sehr schnell mit wachsender Stichprobengröße geschieht.

Bestimmender Faktor bei der Konvergenzgeschwindigkeit ist die Kullback-Leibler-Entropie. Sie liefert ein Maß dafür, wie gut zwei Wahrscheinlichkeitsmaße aufgrund einer Stichprobe auseinandergehalten werden können.

Literatur

• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274.