פונקציית הניקוד

בסטטיסטיקה, פונקציית הניקוד (באנגלית: Score function) של פרמטר $\theta$ היא הגרדיאנט של לוג פונקציית הנראות $L(\theta ;X)$ בכיוון של הפרמטר. הפונקציה מציינת עד כמה רגישה פונקציית הנראות לשינויים ב-$\theta$.

פונקציית הנראות ממלאת תפקיד חשוב במספר היבטים של הסקה סטטיסטית, כגון:

• מציאת סטטיסטי מבחן בעל עוצמה מקסימלית מקומית
• הערכת גודל השגיאה של אומד נראות מקסימלית
• מציאת רווחי סמך
• הוכחה של חסם קרמר-ראו

פונקציית הניקוד ממלאת גם תפקיד חשוב בסטטיסטיקה חישובית , שכן היא יכולה לקחת חלק בחישוב של אומדי נראות מקסימלית.

הגדרה

הערך של פונקציית הניקוד (או בקיצור: "הניקוד") הוא הגרדיאנט (וקטור של נגזרות חלקיות), בהתייחס לפרמטר מסוים $\theta$, של הלוגריתם (בדרך כלל הלוגריתם הטבעי) של פונקציית הנראות. אם התצפית היא $X$ והנראות שלה היא $L(\theta ;X)$, אז הניקוד $V$ ניתן לחישוב לפי כלל השרשרת באופן הבא:

$V\equiv V(\theta ,X)={\frac {\partial }{\partial \theta }}\log L(\theta ;X)={\frac {1}{L(\theta ;X)}}{\frac {\partial L(\theta ;X)}{\partial \theta }}.$

לכן הניקוד $V$ מציין את הרגישות של $L(\theta ;X)$ (הנגזרת כשהיא מנורמלת על ידי ערך הפונקציה). יש לשים לב ש-$V$ היא פונקציה גם של התצפית $X$ אך גם של הפרמטר $\theta$, לכן זהו לא סטטיסטי. אף על פי כן ניתן להשתמש בו ביישומים מסוימים, על ידי חישוב ערך הפונקציה עבור ערך $\theta$ ספציפי (כמו ערך ה-$\theta$ של השערת האפס, או אומד הנראות המקסימלית של $\theta$), והתוצאות של חישובים אלו הן סטטיסטים.

תכונות

תוחלת

תחת תנאי רגולריות מסוימים, התוחלת של פונקציית הניקוד $V$ בהתייחס לתצפית $x$, בהינתן הפרמטר האמיתי $\theta$, כלומר $\mathbb {E} (V\mid \theta )$, שווה ל-0. על מנת לראות זאת נכתוב מחדש את פונקציית הנראות L כפונקציית צפיפות: $L(\theta ;x)=f(x;\theta )$, ואז:

$\mathbb {E} (V\mid \theta )=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}(\log L(\theta ;X))f(x;\theta )\,dx=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}(\log f(\theta ;X))f(x;\theta )\,dx$

$=\int _{-\infty }^{+\infty }({\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }})f(x;\theta )\,dx=\int _{-\infty }^{+\infty }{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx$

אם תנאי גזירות מסוימים מתקיימים, אינטגרל זה שווה ל:

${\frac {\partial }{\partial \theta }}\int _{-\infty }^{+\infty }f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.$

מכיוון שהתוחלת של פונקציית הניקוד היא 0 כאמור לעיל, אם נדגום פעם אחר פעם מהתפלגות מסוימת, ובכל פעם נחשב את הניקוד, אז ממוצע ערכי הניקוד ישאף ל-0 כשמספר הדגימות ישאף לאינסוף.

שונות

ערך מורחב – האינפורמציה של פישר

השונות של פונקציית הניקוד ידועה בשם אינפורמציה של פישר, ומסומנת: ${\mathcal {I}}(\theta )$. מכיוון שהתוחלת של פונקציית הניקוד היא 0, ניתן לנסח את השונות בצורה הבאה:

${\mathcal {I}}(\theta )=\mathbb {E} \left\{\left.\left[{\frac {\partial }{\partial \theta }}\log L(\theta ;X)\right]^{2}\right|\theta \right\}=\mathbb {E} \left\{\left.\left[{\frac {{\frac {\partial }{\partial \theta }}L(\theta ;X)}{L(\theta ;X)}}\right]^{2}\right|\theta \right\}$

יש לשים לב שהאינפורמציה של פישר כפי שהוגדרה לעיל, איננה פונקציה של תצפית מסוימת (אלא רק של הפרמטר $\theta$), שכן המשתנה המקרי $X$ מתקזז בנוסחה. מושג זה של אינפורמציה שימושי כשמבצעים השוואה בין שתי שיטות תצפית מתהליך סטוכסטי כלשהו.