האינפורמציה של פישר

בסטטיסטיקה ובתורת האינפורמציה, האינפורמציה של פישר (באנגלית: Fisher Information) היא פונקציה של פרמטר הקובע התפלגות, השווה לשונות של פונקציית הניקוד, על-פי אותו פרמטר. האינפורמציה של פישר מכמתת את ה"רגישות" של פונקציית ההתפלגות לשינויים ב-$\ \theta$: שינויים גדולים יותר מעידים על רגישות גבוהה יותר, ולכן נושאים, כביכול, אינפורמציה רבה יותר.

בסטטיסטיקה בייסיאנית, ההתפלגות האסימפטוטית של השכיח האפוסטריורי תלויה בהתפלגות האפריורית רק דרך האינפורמציה של פישר. תפקידה של האינפורמציה של פישר בתאוריה האסימפטוטית של אומדי נראות מקסימלית הודגש על ידי הסטטיסטיקאי רונלד פישר. האינפורמציה של פישר משמשת גם בחישובו של Jeffreys prior, שמשמש בענף הסטטיסטיקה הבייסיאנית.

האינפורמציה של פישר משמשת בחישוב מטריצת השונות המשותפת (Covariance Matrix) של אומדי נראות מקסימלית. כחלק מזה, היא שימושית גם במבחני השערות כמו מבחן ואלד (Wald). חסם קרמר-ראו קובע שהשונות של כל אומד חסר הטיה לפרמטר חסומה מלמטה על ידי ההפכי של מדד האינפורמציה של פישר.

הגדרה

מדד האינפורמציה של פישר הוא דרך לכמת את האינפורמציה שנושא בחובו משתנה מקרי $\ X$ בנוגע לפרמטר $\ \theta$ בו תלויה ההתפלגות של $\ X$. פונקציית ההתפלגות של $\ X$, שהיא גם פונקציית הנראות של $\ \theta$, מסומנת $\ f(x;\theta )$. הציון של הפילוג מוגדר להיות:

$\ V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )$

בתנאים רחבים למדי, התוחלת של הציון מתאפסת לפי נוסחת הנגזרת של לוגריתם:

$\ \mathrm {E} \left[V\right]=\int {\frac {\partial }{\partial \theta }}\ln f(x;\theta )\cdot f(x;\theta )\,dx=\int {\frac {\partial }{\partial \theta }}f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}(1)=0$

האינפורמציה של פישר מוגדרת להיות המומנט השני של הציון (שהוא גם המומנט המרכזי השני):

$\ {\mathcal {I}}(\theta )=\operatorname {E} \left[\left.\left({\frac {\partial }{\partial \theta }}\ln f(X;\theta )\right)^{2}\right|\theta \right]$

מתוך ההגדרה, האינפורמציה של פישר לעולם אי-שלילית.

אם פונקציית הצפיפות $\ f(x;\theta )$ גזירה פעמיים, אז מתקיים גם ${\mathcal {I}}(\theta )=-\operatorname {E} \left[\left.{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln f(X;\theta )\right|\theta \right]$

לדוגמה, עבור ניסוי ברנולי עם סיכוי הצלחה $\ p$, פונקציית הנראות היא $\ f(x;p)=p^{x}\cdot (1-p)^{(1-x)}$, ולכן $\ \ln f(x;p)=x\cdot \ln(p)+(1-x)\cdot \ln(1-p)$ והנגזרת היא $\ {\frac {\partial }{\partial p}}\ln f(x;p)={\frac {x}{p}}-{\frac {1-x}{1-p}}={\frac {x+p}{p(1-p)}}$. השונות של ערך זה היא $\ {\mathcal {I}}(p)=Var({\frac {\partial }{\partial p}}\ln f(x;p))={\frac {Var(X)}{p^{2}(1-p)^{2}}}={\frac {1}{p(1-p)}}$.

צורה מטריציונית

במקרה בו מדובר בווקטור של פרמטרים ולא בפרמטר סקלרי, האינפורמציה של פישר היא מטריצה ריבועית שהגדרתה:

$\ {\mathcal {I}}=\mathrm {E} \left[{\frac {\partial ^{T}}{\partial {\boldsymbol {\theta }}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial {\boldsymbol {\theta }}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]$.

אם האיבר ה-i,j של מטריצת האינפורמציה של פישר מתאפס, הפרמטרים $\ \theta _{i},\theta _{j}$ מכונים אורתוגונליים.

תכונות ושימושים

האינפורמציה של פישר היא מטריצה סימטרית אי-שלילית המגדירה מטריקה רימנית במרחב הפרמטרים. האינפורמציה של פישר אדיטיבית: האינפורמציה של שתי מדידות בלתי-תלויות סטטיסטית שווה לסכום האינפורמציות של כל מדידה. מתוך כך, האינפורמציה של סדרת מדידות בלתי-תלויות ושוות פילוג באורך n, היא n פעמים האינפורמציה של מדידה אחת.

האינפורמציה של פישר של סטטיסטי מספיק שווה לזו של המשתנה X. זוהי תוצאה ישירה של משפט הפירוק. במקרה של סטטיסטי לא-מספיק, האינפורמציה שלו קטנה מזו של X. ההפך נכון גם כן: אם האינפורמציה של סטטיסטי שווה לאינפורמציה לזו של המשתנה בו הוא תלוי, אזי הוא סטטיסטי מספיק.

לפי חסם קרמר-ראו, ההופכי של האינפורמציה של פישר חוסמת מלמטה את השונות של כל אומד חסר-הטיה. בפרט, אומדים יעילים משיגים בדיוק את החסם הזה. אם מדובר בווקטור פרמטרים, המטריצה ההופכית למטריצת האינפורמציה חוסמת מלמטה (ההפרש הוא מטריצה חיובית) את מטריצת השונות המשותפת של כל וקטור אומדים חסר-הטיה. אם קיימים פרמטרים אורתוגונליים, כהגדרתם לעיל, מתקבל כי החסם על שונות אחד מהם לא תלוי בידיעת הפרמטר האחר, ולהפך. פירושו של דבר, שידיעת הפרמטר האחר במדויק לא הייתה משנה את החסם על שונות המשערך, (ובפרט, לא מקטינה אותו).

מטבע הגדרתה, האינפורמציה של פישר תלויה בפרמטריזציה של הבעיה. אם $\ {\boldsymbol {\theta }},{\boldsymbol {\eta }}$ הן שתי פרמטריזציות של בעיית אמידה, ו-$\ {\boldsymbol {\theta }}$ היא פונקציה גזירה ברציפות של $\ {\boldsymbol {\eta }}$, אז מתקיים:

${\mathcal {I}}_{\boldsymbol {\eta }}({\boldsymbol {\eta }})={\boldsymbol {J}}^{\mathrm {T} }{\mathcal {I}}_{\boldsymbol {\theta }}({\boldsymbol {\theta }}({\boldsymbol {\eta }})){\boldsymbol {J}}$

כאשר יעקוביאן הטרנספורמציה $\ {\boldsymbol {J}}$ מוגדר לפי $\ {\boldsymbol {J}}={\frac {\partial {\boldsymbol {\theta }}}{\partial {\boldsymbol {\eta }}}}$.

ראו גם

• חסם קרמר-ראו