פונקציית הניקוד

בסטטיסטיקה, פונקציית הניקוד (באנגלית: Score function) של פרמטר $ \theta $ היא הגרדיאנט של לוג פונקציית הנראות $ L(\theta ;X) $ בכיוון של הפרמטר. הפונקציה מציינת עד כמה רגישה פונקציית הנראות לשינויים ב-$ \theta $.

פונקציית הנראות ממלאת תפקיד חשוב במספר היבטים של הסקה סטטיסטית, כגון:

• מציאת סטטיסטי מבחן בעל עוצמה מקסימלית מקומית
• הערכת גודל השגיאה של אומד נראות מקסימלית
• מציאת רווחי סמך
• הוכחה של חסם קרמר-ראו

פונקציית הניקוד ממלאת גם תפקיד חשוב בסטטיסטיקה חישובית , שכן היא יכולה לקחת חלק בחישוב של אומדי נראות מקסימלית.

הגדרה

הערך של פונקציית הניקוד (או בקיצור: "הניקוד") הוא הגרדיאנט (וקטור של נגזרות חלקיות), בהתייחס לפרמטר מסוים $ \theta $, של הלוגריתם (בדרך כלל הלוגריתם הטבעי) של פונקציית הנראות. אם התצפית היא $ X $ והנראות שלה היא $ L(\theta ;X) $, אז הניקוד $ V $ ניתן לחישוב לפי כלל השרשרת באופן הבא:

$ V\equiv V(\theta ,X)={\frac {\partial }{\partial \theta }}\log L(\theta ;X)={\frac {1}{L(\theta ;X)}}{\frac {\partial L(\theta ;X)}{\partial \theta }}. $

לכן הניקוד $ V $ מציין את הרגישות של $ L(\theta ;X) $ (הנגזרת כשהיא מנורמלת על ידי ערך הפונקציה). יש לשים לב ש-$ V $ היא פונקציה גם של התצפית $ X $ אך גם של הפרמטר $ \theta $, לכן זהו לא סטטיסטי. אף על פי כן ניתן להשתמש בו ביישומים מסוימים, על ידי חישוב ערך הפונקציה עבור ערך $ \theta $ ספציפי (כמו ערך ה-$ \theta $ של השערת האפס, או אומד הנראות המקסימלית של $ \theta $), והתוצאות של חישובים אלו הן סטטיסטים.

תכונות

תוחלת

תחת תנאי רגולריות מסוימים, התוחלת של פונקציית הניקוד $ V $ בהתייחס לתצפית $ x $, בהינתן הפרמטר האמיתי $ \theta $, כלומר $ \mathbb {E} (V\mid \theta ) $, שווה ל-0. על מנת לראות זאת נכתוב מחדש את פונקציית הנראות L כפונקציית צפיפות: $ L(\theta ;x)=f(x;\theta ) $, ואז:

$ \mathbb {E} (V\mid \theta )=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}(\log L(\theta ;X))f(x;\theta )\,dx=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}(\log f(\theta ;X))f(x;\theta )\,dx $

$ =\int _{-\infty }^{+\infty }({\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }})f(x;\theta )\,dx=\int _{-\infty }^{+\infty }{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx $

אם תנאי גזירות מסוימים מתקיימים, אינטגרל זה שווה ל:

$ {\frac {\partial }{\partial \theta }}\int _{-\infty }^{+\infty }f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0. $

מכיוון שהתוחלת של פונקציית הניקוד היא 0 כאמור לעיל, אם נדגום פעם אחר פעם מהתפלגות מסוימת, ובכל פעם נחשב את הניקוד, אז ממוצע ערכי הניקוד ישאף ל-0 כשמספר הדגימות ישאף לאינסוף.

שונות

ערך מורחב – האינפורמציה של פישר

השונות של פונקציית הניקוד ידועה בשם אינפורמציה של פישר, ומסומנת: $ {\mathcal {I}}(\theta ) $. מכיוון שהתוחלת של פונקציית הניקוד היא 0, ניתן לנסח את השונות בצורה הבאה:

$ {\mathcal {I}}(\theta )=\mathbb {E} \left\{\left.\left[{\frac {\partial }{\partial \theta }}\log L(\theta ;X)\right]^{2}\right|\theta \right\}=\mathbb {E} \left\{\left.\left[{\frac {{\frac {\partial }{\partial \theta }}L(\theta ;X)}{L(\theta ;X)}}\right]^{2}\right|\theta \right\} $

יש לשים לב שהאינפורמציה של פישר כפי שהוגדרה לעיל, איננה פונקציה של תצפית מסוימת (אלא רק של הפרמטר $ \theta $), שכן המשתנה המקרי $ X $ מתקזז בנוסחה. מושג זה של אינפורמציה שימושי כשמבצעים השוואה בין שתי שיטות תצפית מתהליך סטוכסטי כלשהו.