משפט גאוס-מרקוב

בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.

בסטטיסטיקה, משפט גאוס-מרקוב מספק את ההצדקה המתמטית לשימוש באומד הריבועים הפחותים במסגרת מודל של רגרסיה לינארית. משפט זה קובע כי תחת הנחות המודל — שגיאות בעלות תוחלת אפס, שונות קבועה ובלתי מתואמות — האומד חסר ההטיה הלינארי הטוב ביותר הוא האומד של שיטת הריבועים הפחותים, במובן זה שהשונות שלו היא הנמוכה ביותר מבין שאר האומדים הלינאריים חסרי ההטיה. למשל אומד ג'יימס-שטיין הוא אומד מוטה ששונותו נמוכה יותר.

ידוע כי המתמטיקאי הגרמני קרל פרידריך גאוס עשה שימוש בשיטת הריבועים הפחותים כבר בשנת 1795, והיא פורסמה על ידו רק בשנת 1809. הוכחה למשפט זה סיפק גאוס בשנת 1823. המתמטיקאי הרוסי אנדריי מרקוב פרסם בשנת 1912 ספר בו תיאר בפירוט ובדיוק רב יותר את השיטה ותיאר את ההוכחה שלה, ועל כן היא קרויה גם על שמו.

נוסח פורמלי

תיאור המודל

נניח מודל מהצורה $\mathbf {y} =X\mathbf {\beta } +\varepsilon$ בכתיב וקטורי. כלומר, $\mathbf {y} ,\varepsilon \in \mathbb {R} ^{n},\beta \in \mathbb {R} ^{K},X\in \mathbb {R} ^{n\times K}$, ואז בכתיב מלא המודל הוא,

$$y_{i}=\sum _{j=1}^{K}\beta _{j}X_{ij}+\varepsilon _{i}$$

עבור $i=1,\dots ,n$.

$\beta _{j}$ הוא פרמטר קבוע לא ידוע שאותו מחפשים; $X_{ij}$ הוא ערך קבוע ידוע; $\varepsilon _{i}$ הוא משתנה מקרי המתאר את השגיאה או את ה"רעש", וכתוצאה מכך גם $y_{i}$ הוא משתנה מקרי.

אומד לינארי

אומד לינארי לפרמטר $\beta _{j}$ הוא לינארי במשתנים $y_{1},\dots ,y_{n}$, כלומר הוא מהצורה,

$${\widehat {\beta }}_{j}=c_{1j}y_{1}+\cdots +c_{nj}y_{n}$$

כאשר המקדמים $c_{1j},\dots ,c_{nj}$ אינם יכולים להיות תלויים בפרמטר $\beta _{j}$, אלא רק בערכים הנצפים $X_{1j},\dots ,X_{nj}$ (אך התלות של המקדמים בערכים הנצפים אינה בהכרח לינארית).

סכום ריבועי השגיאות

אם ${\widehat {\beta }}$ הוא אומד כלשהו, ונסמן בהתאמה ${\widehat {\mathbf {y} }}_{i}=\sum _{j=1}^{K}{\widehat {\beta }}_{j}X_{ij}+\varepsilon _{i}$

טבעי לרצות אומד שממזער את סכום ריבועי השגיאות. כלומר, אומד ${\widehat {\beta }}$ כזה שממזער את הביטוי,

$$\sum _{i=1}^{n}\left(y_{i}-{\widehat {y}}_{i}\right)^{2}$$

המשפט

משפט גאוס-מרקוב: אם מתקיימים שלושת התנאים הבאים:

1. $\mathbf {E} \left[\varepsilon _{i}\right]=0$ עבור $i=1,\dots ,n$.
2. $\mathbf {Var} \left(\varepsilon _{i}\right)=\sigma ^{2}<\infty$ עבור $i=1,\dots ,n$.
3. $\mathbf {Cov} \left(\varepsilon _{i},\varepsilon _{j}\right)=0$ עבור $i,j=1,\dots ,n;i\neq j$.

אז האומד שממזער את סכום ריבועי השגיאות הוא אומד הריבועים הפחותים הלינארי,

$${\widehat {\beta }}=\left(X^{T}X\right)^{-1}X^{T}\mathbf {y}$$

כאשר $X^{T}$ היא המטריצה המשוחלפת של $X$.

הוכחה

יהי ${\tilde {\beta }}=C\mathbf {y}$ אומד לינארי וחסר הטיה כלשהו. היות שאנו עוסקים באומדים חסרי הטיה, מיזעור של סכום ריבועי השגיאות שקול למזעור השונות. אם כך נרצה להראות כי המטריצה $\mathbf {Var} \left({\tilde {\beta }}\right)-\mathbf {Var} \left({\widehat {\beta }}\right)$ היא מטריצה חיובית.

נכתוב לצורך הפשטות $C=\left(X^{T}X\right)^{-1}X^{T}+D$, עבור מטריצה $D$ מגודל $K\times n$, ונחשב,

${\begin{aligned}\mathbf {E} \left[{\tilde {\beta }}\right]&=\mathbf {E} \left[Cy\right]\\&=\mathbf {E} \left[\left((X^{T}X)^{-1}X^{T}+D\right)\left(X\beta +\varepsilon \right)\right]\\&=\left((X^{T}X)^{-1}X^{T}+D\right)X\beta +\left((X^{T}X)^{-1}X^{T}+D\right)\mathbf {E} \left[\varepsilon \right]\\&=\left((X^{T}X)^{-1}X^{T}+D\right)X\beta \\&=(X^{T}X)^{-1}X^{T}X\beta +DX\beta \\&=\left(I_{K}+DX\right)\beta \\\end{aligned}}$

אם כך, כדי שהאומד ${\tilde {\beta }}$ יהיה חסר הטיה, בהכרח מתקיים $DX=0$. מכך נובע,

${\begin{aligned}\mathbf {Var} \left({\tilde {\beta }}\right)&=\mathbf {Var} \left(C\mathbf {y} \right)\\&=C\mathbf {Var} (y)C^{T}\\&=\sigma ^{2}CC^{T}\\&=\sigma ^{2}\left((X^{T}X)^{-1}X^{T}+D\right)\left(X(X^{T}X)^{-1}+D^{T}\right)\\&=\sigma ^{2}\left((X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}+(X^{T}X)^{-1}X^{T}D^{T}+DX(X^{T}X)^{-1}+DD^{T}\right)\\&=\sigma ^{2}(X^{T}X)^{-1}+\sigma ^{2}(X^{T}X)^{-1}\left(DX\right)^{T}+\sigma ^{2}DX(X^{T}X)^{-1}+\sigma ^{2}DD^{T}\\&=\sigma ^{2}(X^{T}X)^{-1}+\sigma ^{2}DD^{T}\\&=\mathbf {Var} \left({\widehat {\beta }}\right)+\sigma ^{2}DD^{T}\end{aligned}}$

כאשר המעבר בשורה השביעית הוא כי $DX=0$, והמעבר בשורה השמינית הוא כי $\sigma ^{2}\left(X^{T}X\right)^{-1}=\mathbf {Var} \left({\widehat {\beta }}\right)$.

לפיכך, היות ש-$DD^{T}$ היא מטריצה חיובית, נובע כי אכן $\mathbf {Var} \left({\tilde {\beta }}\right)-\mathbf {Var} \left({\widehat {\beta }}\right)$ היא מטריצה חיובית, כנדרש.

ראו גם

• רגרסיה לינארית
• שיטת הריבועים הפחותים