Mittlere quadratische Abweichung

Die mittlere quadratische Abweichung, auch erwartete quadratische Abweichung, oder mittlerer quadratischer Fehler genannt, und mit MQA, MQF oder MSE (nach der englischen Bezeichnung englisch mean squared error) abgekürzt, ist ein Begriff der mathematischen Statistik. Sie gibt in der Schätztheorie an, wie sehr ein Punktschätzer um den zu schätzenden Wert streut. Damit ist sie ein zentrales Qualitätskriterium für Schätzer. In der Regressionsanalyse wird sie interpretiert als erwarteter quadratischer Abstand, den ein Schätzer vom wahren Wert hat.

Definition

Gegeben sei ein statistisches Modell ${\displaystyle ({\mathcal {X}},{\mathcal {A}},(P_{\vartheta })_{\vartheta \in \Theta })}$ sowie ein Punktschätzer

${\displaystyle T\colon ({\mathcal {X}},{\mathcal {A}})\to (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$

für eine zu schätzende Funktion (im parametrischen Fall die Parameterfunktion)

${\displaystyle g\colon \Theta \to \mathbb {R} }$

Dann heißt

${\displaystyle \operatorname {MSE} (T,\vartheta ):=\operatorname {E} _{\vartheta }\left(\left(T-g(\vartheta )\right)^{2}\right)}$

die mittlere quadratische Abweichung von ${\displaystyle T}$. Dabei bezeichnet ${\displaystyle \operatorname {E} _{\vartheta }}$ den Erwartungswert bezüglich des Wahrscheinlichkeitsmaßes ${\displaystyle P_{\vartheta }}$. Mittels des Verschiebungssatzes der Varianz folgt die äquivalente Darstellung

${\displaystyle \operatorname {MSE} (T,\vartheta )=\operatorname {Var} _{\vartheta }(T)+\left(\mathbb {B} _{T}(\vartheta )\right)^{2}}$.

Hierbei bezeichnet ${\displaystyle \mathbb {B} _{T}(\vartheta )}$ die Verzerrung des Schätzers, auch Bias genannt.

Für Schätzer, die Werte in einem allgemeinen Entscheidungsraum annehmen, der mit einer Norm ${\displaystyle \|\cdot \|}$ versehen ist lässt sich die mittlere quadratische Abweichung definieren als

${\displaystyle \operatorname {MSE} (T,\vartheta ):=\operatorname {E} _{\vartheta }\left(\|T-g(\vartheta )\|^{2}\right)}$.

Interpretation

Eine geringe mittlere quadratische Abweichung bedeutet im klassischen Fall, dass gleichzeitig Verzerrung und Varianz des Schätzers klein sind. Man befindet sich mit dem Schätzer also im Mittel in der Nähe des zu schätzenden Funktionals (geringere Verzerrung) und weiß gleichzeitig, dass die Schätzwerte wenig streuen (geringe Varianz) und mit großer Wahrscheinlichkeit auch in der Nähe ihres Erwartungswerts liegen.

Mit dem MSE ist es daher möglich, Schätzverfahren miteinander zu vergleichen. Die Idee ist, dass es vorteilhaft sein kann, einen leicht verzerrten Schätzer zu bevorzugen, der dafür eine wesentlich kleinere Varianz besitzt. Dabei gilt das Schätzverfahren mit dem kleineren MSE in der Regel als das bessere.

Problematisch ist, dass der MSE im Allgemeinen vom zu schätzenden, unbekannten Grundgesamtheitsparameter abhängt.

Beispiel

Ein typischer Fall ist die Schätzung des Mittelwerts einer Normalverteilung. Wir nehmen an, dass Zufallsvariablen ${\displaystyle X_{1},\ldots ,X_{n}\;}$ existieren, die jeweils normalverteilt mit unbekanntem Erwartungswert ${\displaystyle \gamma }$ und Varianz 1 sind. Der klassische Schätzer ist das Stichprobenmittel ${\displaystyle {\overline {X}}_{n}}$. Hier ist die Verzerrung null:

${\displaystyle \operatorname {Bias} ({\overline {X}}_{n})=0}$,

da der empirische Mittelwert erwartungstreu für ${\displaystyle \gamma }$ ist. Da ${\displaystyle {\overline {X}}_{n}}$ selbst normalverteilt mit Erwartungswert ${\displaystyle \gamma }$ und Varianz ${\displaystyle {\tfrac {1}{n}}}$ ist, folgt

${\displaystyle \operatorname {MSE} ({\overline {X}}_{n})={\frac {1}{n}}.}$

Konsistenz im quadratischen Mittel

Eine Schätzstatistik heißt konsistent im quadratischen Mittel, falls für ${\displaystyle n\to \infty }$ gilt^[1]

${\displaystyle \operatorname {MSE} \rightarrow 0}$

Wirksamkeit von Schätzstatistiken

Gegeben seien zwei Schätzstatistiken ${\displaystyle T_{1}}$ und ${\displaystyle T_{2}}$. Die Schätzstatistik ${\displaystyle T_{1}}$ heißt MSE-wirksamer, wenn

${\displaystyle \operatorname {MSE} (T_{1})\leq \operatorname {MSE} (T_{2})}$

für alle zulässigen Verteilungen gilt. Des Weiteren wird eine Schätzstatistik als MSE-wirksamst bezeichnet, wenn ihr MSE für alle zulässigen Verteilungen stets der kleinste ist.^[2]

Einordnung und verwandte Konzepte

Interpretiert man die Schätztheorie als statistisches Entscheidungsproblem, so ist jeder Punktschätzer eine Entscheidungsfunktion. Die Abweichung der Entscheidungsfunktion von dem zu schätzenden Wert wird dann durch eine Verlustfunktion gewichtet. Diese gibt an, wie groß der "Schaden" ist, der durch eine Schätzung entsteht. Die Verlustfunktion wird dann mit der Entscheidungsfunktion zur Risikofunktion kombiniert, die den mittleren Schaden bei Verwendung einer bestimmten Entscheidungsfunktion angibt.

In diesem Kontext ist die mittlere quadratische Abweichung die Risikofunktion, die bei Verwendung der Gauß-Verlustfunktion

${\displaystyle L(\cdot ,\vartheta )=(\cdot -g(\vartheta ))^{2}}$

entsteht. Die Risikofunktion wird dann durch Erwartungswertbildung gewonnen.

Bei analoger Konstruktion unter Verwendung des Laplace-Verlustes erhält man den mittleren betraglichen Fehler

${\displaystyle \operatorname {E} _{\vartheta }\left(\left|T-g(\vartheta )\right|\right)}$.

Wurzel der mittleren quadratischen Abweichung

Eine verwandte Kennzahl ist die Wurzel der mittleren quadratischen Abweichung (RMSE oder RMSD). Sei ${\displaystyle {\hat {\theta }}}$ ein Punktschätzer für ${\displaystyle \theta }$, dann ist sie wie folgt definiert

${\displaystyle RMSE({\hat {\theta }})={\sqrt {\operatorname {MSE} ({\hat {\theta }})}}={\sqrt {\mathbb {E} [({\hat {\theta }}-\theta )^{2}]}}.}$

Bei einer Prognose ${\displaystyle {\hat {y}}_{1},\dots ,{\hat {y}}_{n}}$

${\displaystyle RMSE={\sqrt {\operatorname {MSE} }}={\sqrt {\sum _{i=1}^{n}{\frac {(y_{i}-{\hat {y}}_{i})^{2}}{n}}}}.}$^[3]

Siehe auch

• Mittlere absolute Abweichung vom arithmetischen Mittel

Literatur

• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3. 
• mittlere quadratische Abweichung. In: Guido Walz (Hrsg.): Lexikon der Mathematik. 1. Auflage. Spektrum Akademischer Verlag, Mannheim/Heidelberg 2000, ISBN 3-8274-0439-8. 
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274. 
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8. 

Einzelnachweise

1. ↑ Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2016, ISBN 978-3-662-50371-3, S. 344.
2. ↑ Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2016, ISBN 978-3-662-50371-3, S. 347.
3. ↑ Green, Kass., Congalton, Russell G.: Assessing the Accuracy of Remotely Sensed Data: Principles and Practices, Second Edition. Hrsg.: CRC Press. Ukraine 2008, S. 36.