מקדם בייס

בסטטיסטיקה, מְקַדֵם בֵּייס משמש אלטרנטיבה בייסיאנית לבדיקת השערות קלאסית. השוואת מודלים בייסיאניים היא שיטה של הכרעה בין מודלים שונים בהתבסס על חישוב מקדם בייס. מקדם בייס משמש לכימות היחס בין העדויות התומכות בעד סבירות גבוהה יותר של מודל אחד על פני מודל אחר. ההגדרה הפורמלית של רעיון "עדויות תומכות" בהסקה בייסיאנית יתואר בהמשך.

הגדרה

מקדם בייס הוא יחס בין הנראות (likelihood) של השערות מתחרות, בדרך כלל השערת אפס והשערת החוקר, או מספר מודלים אלטרנטיביים.

ההסתברות הפוסטריורית (posterior probability) מוגדרת בתור $Pr(M|D)$, והיא ההסתברות לנכונותו של מודל M בהינתן סט נתונים D, על ידי חוק בייס:

$\Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.$

הנראות (likelihood) מייצגת את ההסתברות כי סט נתונים D הגיע מתוך מודל M, ונכתב באופן רשמי בתור $Pr(D|M)$.

לדוגמה: בהטלת מטבע נצפה סט נתונים (D) של 5 תוצאות "עץ". במודל סטטיסטי של מטבע הוגן (סיכוי q=0.5 לקבלת עץ) הסבירות, או הסיכוי לנתונים בהינתן המודל, היא Pr(D|M)=0.5^5=0.03125. לעומת זאת במודל של מטבע מוטה (עם סיכוי q=0.9 לקבלת עץ) הסבירות, או הסיכוי לנתונים בהינתן המודל, היא Pr(D|M)=0.9^5=0.5905.

הערכת הנראות מהווה את הבסיס להשוואה בייסיאנית בין מודלים. בהשוואת מודלים, אנחנו צריכים לבחור בין שני מודלים על בסיס נתונים (D). הנראות של שני מודלים M1, ו-M2, מבוטאת על ידי שני וקטורים $\theta _{1}$ וגם $\theta _{2}$ שבאמצעותם מחושב מקדם בייס, K.

$K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}.$

יתרונה של שיטת השוואת מודלים באמצעות מקדם בייס על פני מבחן סטטיסטיים כגון מבחן יחס-נראות נעוצה בעובדה שסבירותם של מודלים פשוטים יותר עם פחות פרמטרים, באופן טבעי יותר מקבלת יתרון בהשוואת מודלים ביסייאניים ובכך ניתן להימנע מתופעת התאמת יתר (overfitting).

פרשנות

ערך K גדול מ-1 מציין כי המודל הראשון יותר נתמך על ידי הנתונים בחשבון בהשוואה למודל השני. בדיקת השערות קלאסית, בוחנת רק מודל אחד (השערת האפס) ומכמתת את הסבירות לנתונים בהינתן המודל, כאשר בתהליך ההסקה הסטטיסטית, סבירות נמוכה מאוד של הנתונים (לרוב p<0.05) תוביל לדחיית השערת האפס. הרולד ג'פרי יצר את הטבלה הבאה לפרשנות ערכי K שונים:

K	dHart	ביטים	פרשנות
קטן מ-1	קטן מ-0		שלילי (תומך M2)
100עד 101/2	0 עד 5	0 עד 1.6	בקושי שווה להזכיר
101/2 עד 101	5 עד 10	1.6 עד 3.3	משמעותי
101 עד 103/2	10 עד 15	3.3 עד 5.0	חזק
103/2 עד 102	15 עד-20.	5.0 עד 6.6	חזק מאוד
גדול מ 102	גדול מ 20	גדול מ 6.6	החלטי

פרשנות מקובלת אלטרנטיבית הוצעה על ידי Kass ו Raftery (1995):

$2ln(K)$	K	פרשנות
0 עד 2	1 עד 3	בקושי שווה להזכיר
2 עד 6	3 עד 20	חיובי
6 עד 10	20 עד 150	חזק
מעל 10	מעל 150	חזק מאוד

מקדם בייס מכמת עבורנו איזו מההשערות היא הסבירה ביותר, בהינתן סט הנתונים שבידנו.

דוגמה

נסתכל על דוגמה עם משתנה תלוי דיכוטומי (בינומי). נניח ובידנו משתנה מקרי שמייצר בכל צעד הצלחה או כישלון. אנו מעוניינים להשוות בין מודל M₁ שבו ההסתברות להצלחה היא q=0.5, אל מודל M₂ בו q אינו ידוע, ונלקח מהתפלגות אחידה בטווח [0,1]. בידנו סט נתונים (D) של 200 ניסיונות, אשר מתוכם 115 הצלחות אל מול 85 כישלונות. את הסבירות לקבלת סט נתונים זה בהינתן כל אחד מהמודלים ניתן לחשב באמצעות ההתפלגות הבינומית:

${{200 \choose 115}q^{115}(1-q)^{85}}.$

לפיכך, נקבל עבור המודל הראשון

$P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0.005956...,\,$

ועבור המודל השני

$P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={1 \over 201}=0.004975....$

בחישוב מקדם בייס כיחס בין שתי הסבירויות נגלה כי K=1.197. כלומר, העדויות מעט נוטות לטובת המודל הראשון, אם כי באופן זניח.

בדיקת השערות קלאסית של מודל M₁ (שבהקשר זה הוא השערת האפס) יספק תוצאה שונה בתכלית. במבחן הבינום הסבירות לקבלת 115 הצלחות או יותר מתוך 200 היא p=0.02. מכאן שבבדיקת השערות ברמת ביטחון של 95% (דו-צדדית) היינו מגיעים למסקנה כי עלינו לדחות את השערת האפס, וכי לא סביר שהתוצאה שהתקבלה נדגמה מתוך השערת האפס.

מודל M₂מורכב יותר לבחינה מהמודל הראשון, מאחר שהוא מכיל פרמטר חופשי המאפשר לו התאמה מוצלחת יותר לנתונים. היכולת של כלי הסקה ביסיאנית להתמודד עם מודלים מורכבים כגון זה משמעותית במיוחד ביכולה להפחית טעות מסוג I

הפניות

• Bernardo, J.; Smith, A. F. M. (1994). Bayesian Theory. John Wiley. ISBN 0-471-92416-4.
• Denison, D. G. T.; Holmes, C. C.; Mallick, B. K.; Smith, A. F. M. (2002). Bayesian Methods for Nonlinear Classification and Regression. John Wiley. ISBN 0-471-49036-9.
• Duda, Richard O.; Hart, Peter E.; Stork, David G. (2000). "Section 9.6.5". Pattern classification (2nd ed.). Wiley. pp. 487–489. ISBN 0-471-05669-3.
• Gelman, A.; Carlin, J.; Stern, H.; Rubin, D. (1995). Bayesian Data Analysis. London: Chapman & Hall. ISBN 0-412-03991-5.
• Jaynes, E. T. (1994), Probability Theory: the logic of science, chapter 24.
• Lee, P. M. (2012). Bayesian Statistics: an introduction. Wiley. ISBN 9781118332573.
• Winkler, Robert (2003). Introduction to Bayesian Inference and Decision (2nd ed.). Probabilistic. ISBN 0-9647938-4-9.

קישורים חיצוניים

• BayesFactor חבילת R לחישוב מקדם בייס
• Bayes Factor Calulator - גרסה מבוססת דפדפן של חבילת BayesFactor

הערות שוליים

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

33509817מקדם בייס