נראות מקסימלית

שיטת הנראות המקסימלית (או הנראות המרבית) היא שיטה נפוצה בסטטיסטיקה להתאמת מודל סטטיסטי לנתונים, כלומר היא משמשת במסגרת אמידה פרמטרית למציאת אומד לפרמטר המאפיין את המודל. למשל, במקרה שבו נתון שמשתנה מקרי הוא בעל התפלגות נורמלית אלא שהתוחלת שלו אינה ידועה, גישה זו מספקת דרך למציאת אומדן לתוחלת.

באופן אינטואיטיבי הגישה אומרת שכדי לנבא היטב את הפרמטר האמיתי על-סמך מדגם מקרי מסוים, יש לבדוק איזה פרמטר מתוך כל האפשרויות הוא זה ש"יסביר" בצורה הטובה ביותר את המדגם. כלומר אומד הנראות המרבית הוא הפרמטר שאילו היינו מציבים בפונקציית ההתפלגות מראש, הוא היה נותן את ההסתברות הגבוהה ביותר לקבל את המדגם שאכן התקבל, ובכך ממקסם את פונקציית הנראות.

מקובל לסמן את הנראות המקסימלית באותיות MLE, ראשי תיבות של Maximum Likelihood Estimation.

פונקציית הנראות

ערך מורחב – פונקציית נראות

נניח כי הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X_1, \ldots, X_n } מדגם בלתי תלוי המפולג עם פונקציית הצפיפות הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle f_x(x,\theta)} (כל הדוגמאות שוות התפלגות), ונניח שהדוגמאות בלתי תלויות. פונקציית הנראות (likelihood; מסומנת לעיתים כ-הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \mathcal{L}} ) של המדגם היא הצפיפות המשותפת:

$${\mathcal {L}}(\theta \,;\,x_{1},\ldots ,x_{n})=f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )=\prod _{i=1}^{n}f(x_{i}|\theta )=f(x_{1}|\theta )\cdots f(x_{n}|\theta )$$

$\theta$ הוא פרמטר (או פרמטרים) של המודל או של פונקציית הצפיפות.

לעיתים נעשה שימוש בנראות הממוצעת ${\hat {\ell }}={\frac {1}{n}}\ln {\mathcal {L}}$ המציינת את תוחלת הנראות לדוגמה יחידה.

אומד הנראות המרבית

נרצה למצוא את הערך שממקסם את פונקציית הנראות ($\{{\hat {\theta }}_{\mathrm {MLE} }\}\subseteq \{{\underset {\theta \in \Theta }{\operatorname {arg\,max} }}\ {\hat {\ell }}(\theta \,;\,x_{1},\ldots ,x_{n})\}$), הנקרא אומד הנראות המרבית. נהוג להשתמש בלוגריתם שאיתו בדרך כלל נוח יותר לעבוד (הודות לגזירה פשוטה יותר וליציבות נומרית), ומאחר שהלוגריתם הוא פונקציה מונוטונית עולה, הערך שימקסם את לוג הנראות (log-likelihood) ימקסם גם את הנראות. למציאת הערך המרבי נשתמש ב-$\ln$, נגזור ונשווה לאפס:

הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \frac{\partial \ln(\prod_{i=1}^nf_{x_i}(x,\theta))}{\partial\theta}=\frac{\partial \sum_{i=1}^n\ln(f_{x_i}(x,\theta))}{\partial\theta}=0 }

מתוך המשוואה המתקבלת מחלצים את ערך הנעלם הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \theta} , והוא זה שממקסם את פונקציית הנראות. ערך זה הוא אומד הנראות המרבית לפרמטר הנאמד הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \theta} .

דוגמאות

התפלגות נורמלית

בהנחה שגובהן של ג'ירפות מתפלג נורמלית, ניתן לאמוד את ערך התוחלת והשונות באמצעות נראות מקסימלית על מדגם הג'ירפות שבגן החיות, שכן אין באפשרותנו למדוד את גובהן של כל הג'ירפות בעולם. אם נניח כי הג'ירפות בגן החיות מהוות מדגם מקרי של n ג'ירפות מאוכלוסיית הג'ירפות בעולם, הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle x_1, x_2, \ldots, x_n} , נוכל לאמוד את הפרמטרים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \mu} ו-הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle {\sigma}^2} (התוחלת והשונות) של ההתפלגות באמצעות אומדי נראות מקסימליים כלהלן.

עבור התוחלת:

הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \hat{\mu} = \overline{x} \equiv \frac{1}{n}\sum_{i=1}^n x_i, \qquad}

ועבור השונות:

${\hat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}.$

כאשר הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \overline{x} } הוא ממוצע המדגם.

התפלגות אחידה

ערך מורחב – בעיית הטנק הגרמני

במקרה שבו קלפים ממוספרים 1 עד n מוכנסים לתיבה ואחד נבחר בהתפלגות אחידה; ובהתאם גודל הדגימה הוא 1. אם n אינו ידוע, אומד הנראות המקסימלית שלו הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \hat n} הוא המספר m הכתוב על הקלף שנבחר (ההסתברות ש-n הוא קטן מ־m היא אפס, עבור הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle n \geq m} ההסתברות היא הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \frac{1}{n}} , והיא הגבוהה ביותר כאשר הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle n=m} ). התוחלת של הוצאת הקלף m, ובהתאם התוחלת של הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \hat n} היא הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \frac {n+1}{2}} . מסיבה זו עבור דגימה בגודל 1, אומד הנראות המרבית ל-n יעריך (בתוחלת) את n פחות ממה שהוא בהפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \frac {n-1}{2}} .

תכונות אומד נראות מקסימלית

• עקיבות: תחת תנאי רגולריות מסוימים, כאשר גודל המדגם שואף לאינסוף, האומד מתכנס בהסתברות לערכו האמיתי של הפרמטר. זוהי תכונה חשובה שמאפשרת לנו למעשה לאמוד את הפרמטר בכל רמת דיוק שנרצה.
• אינווריאנטיות פונקציונלית: אם הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \hat{\theta}} הוא אומד נראות מקסימלית של פרמטר הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \theta} , ו-הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle g(x)} היא פונקציה כלשהי אז הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle g(\hat{\theta})} הוא אומד נראות מקסימלית לפרמטר הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle g({\theta})} .

יישומים

אומד נראות מקסימלית משמש למגוון רחב של מודלים סטטיסטיים, כולל:

• מודלים ליניאריים וגם מודלים ליניאריים מוכללים
• מידול משוואות מבני
• מצבים רבים בהקשר של בדיקת השערות ורווחי סמך
• מודלי מבחר בדיד

שימושים אלה עולים במגוון רחב של תחומים, כגון:

• מערכות תקשורת
• מבחנים פסיכומטריים
• אקונומטריקה
• זמני השהייה בגילוי וקבלת אותות אקוסטיים או אלקטרו-מגנטיים.
• מידול נתונים בפיזיקה גרעינית ופיזיקת חלקיקים.
• דימות תהודה מגנטית
• פילוגנטיקה חישובית
• מידול מוצא/יעד ובחירת מסלול במערכות תחבורה
• סיווג גאוגרפי של תמונות לוויין.

ראו גם

• אלגוריתם תוחלת-מקסום

קישורים חיצוניים

מדיה וקבצים בנושא נראות מקסימלית בוויקישיתוף

• נראות מקסימלית, באתר MathWorld (באנגלית)   

הערות שוליים

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

36859076נראות מקסימלית