חסם קרמר-ראו

בתורת האמידה ובסטטיסטיקה, חסם קרמר-ראו (Cramér–Rao lower bound, CRLB) הוא חסם תחתון על השונות של אומדים של פרמטרים דטרמיניסטיים. לעיתים הוא ידוע בשמות "אי-שוויון קרמר-ראו" או "אי-שוויון האינפורמציה". הוא נקרא על שם הראלד קרמר וק. ר. ראו, שהיו בין הראשונים לגזור אותו.

לפי צורתו הפשוטה ביותר של החסם, השונות המינימלית של כל אומד חסר הטיה היא ההופכי של האינפורמציה של פישר. אומד חסר הטיה שמשיג את החסם הזה נקרא אומד יעיל. אומד כזה משיג את השגיאה הריבועית הממוצעת הנמוכה ביותר מבין כל האומדים חסרי ההטיה, ולכן הוא נקרא גם UMVUE (אומד חסר הטיה בעל שונות מינימלית במידה שווה). עם זאת, לעיתים לא קיים אומד חסר-הטיה שמשיג את החסם, גם כאשר קיים אומד UMVUE.

וריאציה של חסם קרמר-ראו חוסמת את השונות של אומדים בעלי-הטיה ידועה. במקרים מסוימים, אומד מוטה עשוי להניב שגיאה ריבועית ממוצעת ושונות נמוכות יותר מאלו שמשיג חסם קרמר-ראו חסר ההטייה.

תנאים רגולריים

החסם תקף תחת שני תנאים רגולריים חלשים יחסית על פונקציית צפיפות ההסתברות $\ f(x;\theta )$:

• האינפורמציה של פישר מוגדרת היטב, כלומר לכל $\ x$ שבו $\ f(x;\theta )>0$, הנגזרת ${\frac {\partial }{\partial \theta }}\ln f(x;\theta )$ קיימת והיא סופית.
• ניתן להחליף את הסדר של גזירה לפי $\ \theta$ ואינטגרציה לפי $\ x$. התנאי הזה מתקיים כאשר אחד מהבאים מתקיים:
  • הפונקציה $\ f(x;\theta )$ היא בעלת תומך סופי ב-$\ x$, שגבולותיו אינם תלויים ב-$\ \theta$.
  • הפונקציה $\ f(x;\theta )$ היא בעלת תומך אינסופי, גזירה ברציפות, והאינטגרל מתכנס במידה שווה לכל $\ \theta$.

החסם

אומד סקלרי חסר-הטיה

יהי $\theta$ פרמטר דטרמיניסטי לא-ידוע המשוערך בעזרת וקטור מדידות $x$. הפילוג של המדידות, שתלוי בפרמטר, הוא $f(x;\theta )$. השונות של כל אומד חסר-הטיה ${\hat {\theta }}$ של הפרמטר $\ \theta$ חסום על ידי ההופכי של האינפורמציה של פישר:

$\mathrm {Var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}$

האינפורמציה של פישר במקרה הסקלרי $I(\theta )$, מוגדרת לפי:

$I(\theta )=\mathrm {E} \left[\left({\frac {\partial \ln f(x;\theta )}{\partial \theta }}\right)^{2}\right]=-\mathrm {E} \left[{\frac {\partial ^{2}\ln f(x;\theta )}{\partial \theta ^{2}}}\right]$

אומד סקלרי כללי

צורה כללית יותר של החסם מתקבלת עבור מקרה של אומד חסר הטיה, $\ T(X)$, שנועד לאמוד את $\ \psi (\theta )$, פונקציה ידועה של פרמטר סקלרי דטרמיניסטי לא-ידוע $\ \theta$. כאן, חוסר ההטיה פירושו $\ E\left[T(X)\right]=\psi (\theta )$. במקרה זה, החסם נתון על ידי:

$\mathrm {Var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}$

גישה זו שימושית גם לצורך מציאת החסם עבור אומד בעל הטיה ידועה, אותה נסמן $\ b(\theta )$. במצב זה, נבחן את הפונקציה $\ \psi (\theta )=\theta +b(\theta )$. כל אומד חסר הטיה שהתוחלת שלו היא $\ \psi (\theta )$, שונותו חסומה על ידי הביטוי שלעיל; במילים אחרות, השונות של כל אומד ${\hat {\theta }}$ שהטייתו ידועה ושווה ל-$\ b(\theta )$, חסומה על ידי:

$\mathrm {Var} \left({\hat {\theta }}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}$.

ואכן, ניתן לראות כי תוצאה זו מתכנסת לתוצאה במקרה חסר-ההטיה עבור המקרה $\ b(\theta )=0$. אם כן, השגיאה הריבועית הממוצעת של כל אומד מוטה חסומה על ידי:

$\mathrm {E} \left(({\hat {\theta }}-\theta )^{2}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}+b(\theta )^{2}$.

אומד וקטורי כללי

במקרה של וקטור פרמטרים לא-ידועים, החסם דומה מאוד, אלא שכעת צורתו וקטורית: האינפורמציה של פישר היא מטריצה, ולא סקלר, ואת שונות האומד מחליפה מטריצת השונויות המשותפות (Covariance Matrix). בנוסף, מדובר בווקטור של אומדים ${\boldsymbol {T}}(X)$ המקיים $\mathrm {E} [{\boldsymbol {T}}(X)]={\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)$. האינפורמציה של פישר תוגדר לפי:

$I=\mathrm {E} \left[{\frac {\partial ^{T}}{\partial {\boldsymbol {\theta }}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial {\boldsymbol {\theta }}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]$.

החסם (זהו אי-שוויון מטריצי):

$\mathrm {Cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}}}[I\left({\boldsymbol {\theta }}\right)]^{-1}\left({\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}}}\right)^{T}$

במקרה הפשוט שבו אנו אומדים ישירות את ${\boldsymbol {\theta }}$, החסם יקבל את הצורה:

$\mathrm {Cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq I\left({\boldsymbol {\theta }}\right)^{-1}$

שמזכירה מאוד את המקרה הסקלרי. זהו אי-שוויון מטריצי: ההפרש בין אגף שמאל לאגף ימין הוא מטריצה חיובית.

הוכחת החסם

ההוכחה הבאה היא זו של המקרה הסקלרי הכללי שהוצג לעיל.

נניח ש-$\ X$ הוא משתנה מקרי עם פונקציית צפיפות הסתברות $\ f(x;\theta )$, וש-$\ T=t(X)$ הוא אומד של $\ \psi (\theta )$. נגדיר את V להיות הציון של הפילוג:

$V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )$

התוחלת של הציון:

${\begin{aligned}\mathrm {E} \left[V\right]&=\mathrm {E} \left[{\frac {\partial }{\partial \theta }}\ln f(X;\theta )\right]\\&=\int {\frac {\partial }{\partial \theta }}\ln f(x;\theta )\cdot f(x;\theta )\,dx\\&=\int {\frac {\partial }{\partial \theta }}f(x;\theta )\,dx\\&={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx\\&={\frac {\partial }{\partial \theta }}(1)\\&=0\end{aligned}}$

כאשר החלפת סדר הגזירה והאינטגרציה אפשרית בהנחה שהתנאים הרגולריים מתקיימים.

השונות המשותפת של V ושל T:

${\begin{aligned}\mathrm {Cov} (V,T)&=\mathrm {E} \left[T\cdot V\right]-\mathrm {E} \left[T\right]\cdot \mathrm {E} \left[V\right]\\&=\mathrm {E} \left[T\cdot {\frac {\partial }{\partial \theta }}\ln f(X;\theta )\right]\\&=\int t(x){\frac {\partial }{\partial \theta }}f(x;\theta )\,dx\\&={\frac {\partial }{\partial \theta }}\int t(x)f(x;\theta )\,dx\\&={\frac {\partial }{\partial \theta }}\mathrm {E} \left[T(X)\right]\end{aligned}}$

מאחר ש-$\ T(X)$ הוא אומד חסר הטיה, מתקבל:

$\mathrm {Cov} (V,T)={\frac {\partial }{\partial \theta }}\psi (\theta )=\psi '(\theta )$

לפי אי-שוויון קושי-שוורץ, מתקיים:

$\ \left[\mathrm {Cov} (T,V)\right]^{2}\leq \mathrm {Var} (T)\cdot \mathrm {Var} (V)$

השונות של V היא גם האינפורמציה של פישר (לפי הגדרה), ולכן נקבל בהצבה לאי-שוויון:

$\ \mathrm {Var} (T)\geq {\frac {\left[\psi '(\theta )\right]^{2}}{\mathrm {Var} (V)}}={\frac {\left[\psi '(\theta )\right]^{2}}{I(\theta )}}$

שהוא החסם המבוקש.

דוגמה: חסם קרמר-ראו עבור משתני אינדיקטור

נחפש את חסם קרמר-ראו עבור מודל שבו $Y_{1},...Y_{n}\sim Bin(1,p)$. מכאן שפונקציית הנראות היא

$$L(p,Y_{1},...Y_{n})=p^{\sum (Y_{i})}\cdot (1-p)^{n-\sum (Y_{i})}.$$

כדי לקבל את האינפורמציה של פישר, צריך לחשב את לוגריתם הנראות $l(p,Y_{1},..Y_{n})=\log {L}=\sum y_{i}\cdot \log p+(n-\sum Y_{i})\log(1-p)$

מגזירה מתקבל: $l^{\prime }=(\sum Y_{i}-np)/(p\cdot (1-p))$, ולכן האינפורמציה של פישר היא

$$E((l^{\prime })^{2})={\frac {E(\sum Y_{i}-np)^{2}}{p^{2}(1-p)^{2}}}={\frac {n}{p(1-p)}}$$

ולפי חסם קרמר-ראו עבור כל אומד חסר הטיה, ${\hat {p}}$,

$$\mathrm {Var} ({\hat {p}})\geq {\frac {p(1-p)}{n}}$$

ראו גם

• האינפורמציה של פישר
• חסם צ'פמן-רובינס
• אי-שוויון קולבק

לקריאה נוספת

• Kay, Steven M. (1993). Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory. Prentice Hall.
• Shao, Jun (1998). Mathematical Statistics. New York: Springer.

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

32698217חסם קרמר-ראו