אי-תלות (הסתברות)
בתורת ההסתברות, שני מאורעות הם תלויים סטטיסטית אם הידיעה על התרחשותו של אחד מהם משנה את ההסתברות להתרחשות המאורע האחר. מאורעות שאינם תלויים סטטיסטית נקראים בלתי תלויים סטטיסטית. מקובל להשמיט את תוספת המילה "סטטיסטית" כאשר ההקשר ברור, אך יש להבחין בין תלות סטטיסטית לתלות ליניארית.
הגדרה
שני מאורעות הם בלתי תלויים אם ההסתברות ששניהם יקרו שווה למכפלת ההסתברויות של כל מאורע בנפרד, כלומר: הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ \mathbb{P}\{A\cap B\} = \mathbb{P}\{A\} \cdot \mathbb{P}\{B\}} . אם ההסתברות של B אינה אפס, הגדרה זו שקולה לכך שההסתברות של המאורע A בפני עצמו, שווה להסתברות המותנית שלו אם ידוע ש-B התרחש, כלומר: הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ \mathbb{P}\{A\} = \mathbb{P}\{A|B\}} . נוסחה זו מתקבלת מן ההגדרה מהפעלת חוק בייס.
דוגמה: שני ומיכל רוכשות כרטיסי לוטו וממלאות ניחושים שונים. המאורע 'מיכל זכתה בפרס הראשון' והמאורע 'שני זכתה בפרס הראשון' תלויים, מכיוון שהניחושים שונים, והידיעה על זכייתה של שני הופכת את ההסתברות לזכייתה של מיכל ל-0, כאשר לפני כן ההסתברות הייתה אמנם קטנה אך גדולה ממש מאפס. לעומת זאת, המאורע 'מיכל לא זכתה בפרס הראשון בכל ההגרלות הקודמות' והמאורע 'מיכל תזכה בפרס הראשון בהגרלה הבאה' הם בלתי תלויים, שכן הידיעה על זכייתה של מיכל בהגרלה כלשהי איננה משנה את ההסתברות לזכייה מחודשת.
הערה: כל שני מאורעות זרים הם תלויים, שכן ידיעת קיומו של האחד מבטיחה את אי קיומו של האחר. לפי הגדרה, נקבל הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ \mathbb{P}\{A\cap B\} = 0} ודבר זה יעיד על אי-תלות רק במקרה מנוון שבו הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \mathbb{P}\{A\} =0} או הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \mathbb{P}\{B\} =0} .
תלות ואי תלות של משתנים מקריים
ההגדרה לעיל מתייחסת למאורעות, אך הגדרת התלות מוצגת באופן דומה גם עבור משתנים מקריים: שני משתנים מקריים ו-הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle Y} הם בלתי תלויים אם ורק אם פונקציית ההסתברות המצטברת שלהם מקיימת: הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle F_{X,Y}(x,y) = F_X(x)\cdot F_Y(y)} . נשים לב כי הגדרה זו כוללת הן משתנים מקריים בדידים והן משתנים מקריים רציפים. במקרה שבו קיימת למשתנים המקריים הנתונים גם פונקציית צפיפות הסתברות, הם בלתי תלויים אם ורק אם הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle f_{X,Y}(x,y) = f_X(x)\cdot f_Y(y)} .
משמעות הביטויים לעיל בעלת חשיבות רבה בהסתברות וסטטיסטיקה. כאשר המשתנים תלויים, יש לטפל בפונקציית ההסתברות המשותפת, פונקציה דו-ממדית (או רב-ממדית במקרה הכללי), ואילו כאשר המשתנים בלתי תלויים, ניתן לטפל במקום זאת באוסף פונקציות חד-ממדיות, אותן לרוב קל יותר לשערך.
משתנים מקריים בלתי מתואמים (חסרי קורלציה)
שני משתנים מקריים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X,Y} נקראים בלתי מתואמים (או חסרי קורלציה) אם התוחלות שלהם מקיימות הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ \mathbb{E}\{XY\} =\mathbb{E}\{X\}\mathbb{E}\{Y\}} . במקרים רבים קשה מאד להוכיח או לבדוק אי תלות סטטיסטית, שכן נדרשת ידיעה של פונקציית ההסתברות המצטברת במלואה, דבר שאינו בהכרח זמין בהינתן אוסף מדידות מסוים. בנוסף, במקרים רבים המשתנים עשויים להיות תלויים סטטיסטית לפי ההגדרה, אך ייתכן שקיימת במערכת אי תלות חלשה יותר. במקרים כאלו, ניתן לעיתים לבדוק האם המשתנים בלתי מתואמים ובכך לקבל מושג כלשהו על אופי הקשר בין המשתנים.
דוגמה: במקרים רבים מתעניינים בשונות של סכום שני משתנים מקריים: הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \ \mbox{Var}(X+Y)=\mbox{Var}(X)+\mbox{Var}(Y)+2\mbox{Cov}(X,Y)} , כאשר היא השונות המשותפת של שני המשתנים המקריים. מכיוון שהגדרת השונות המשותפת היא הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \mbox{Cov}(X,Y)= \mathbb{E}\{XY\} -\mathbb{E}\{X\}\mathbb{E}\{Y\}} , הרי שעבור שני משתנים מקריים בלתי מתואמים נקבל כי שונות הסכום היא סכום השונויות. באופן זה קיבלנו מושג על הקשר בין שני המשתנים, אף על פי שלא הוכחנו אי-תלות סטטיסטית.
ניתן להראות כי אוסף משתנים מקריים בלתי תלויים הם גם בלתי מתואמים, באמצעות אחת ההגדרות לעיל בשילוב עם הגדרת התוחלת והשונות המשותפת. ההפך אינו נכון, כלומר: במקרה הכללי, חוסר קורלציה איננו מעיד על אי-תלות סטטיסטית.
אי תלות סטטיסטית וחוסר קורלציה עבור משתנים מקריים גאוסיים
שני משתנים מקריים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X,Y} נקראים משתנים מקריים גאוסיים במשולב (או: במשותף) אם פונקציית הצפיפות המשותפת שלהם גאוסית רב-ממדית. במקרה זה גם כל אחד מהמשתנים יהיה משתנה מקרי גאוסי, וחוסר קורלציה בין המשתנים יעיד על אי-תלות סטטיסטית. כלומר, עבור משתנים אקראיים גאוסיים במשולב, יש שקילות בין אי-תלות סטטיסטית לחוסר קורלציה. ניתן להראות זאת על ידי כתיבת פונקציית הצפיפות באופן ישיר והצבת שונות משותפת מתאימה.
עם זאת, יש לשים לב כי במקרה זה נדרשים המשתנים להיות גאוסיים במשולב, ולא די בכך שנתבונן בשני משתנים אקראיים גאוסיים כלליים, שלהם אין בהכרח צפיפות משותפת גאוסית רב-ממדית.
הערה: ייתכנו מקרים בהם פונקציית הצפיפות אינה קיימת, ובמקרה זה יש להתבונן בפונקציה האפיינית.
דוגמה: יהי הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X} משתנה מקרי נורמלי סטנדרטי (כלומר: בעל תוחלת אפס ושונות יחידה), ויהי הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle B} משתנה מקרי בלתי תלוי ב-הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X} המקבל את הערכים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \pm 1} בהסתברות שווה. ניתן להראות על ידי בחינת פונקציית ההתפלגות המתאימה כי המשתנה המקרי גאוסי ובעל פילוג זהה למשתנה המקרי הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X} . כמו כן ניתן לראות כי שני המשתנים הגאוסיים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X,Y} חסרי קורלציה:
הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \mathbb{E}\{XY\}=\mathbb{E}\{X\cdot BX\}=\mathbb{E}\{B\}\mathbb{E}\{X^2\}=0=\mathbb{E}\{X\}\mathbb{E}\{Y\}} .
כלומר, בידינו שני משתנים גאוסיים וחסרי קורלציה, אך ניתן להראות שהם גם תלויים סטטיסטית, למשל על ידי ההבחנה כי מתקיים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle Y^2=B^2X^2=X^2\Rightarrow X=\pm Y} , כלומר: בידיעת ערכו של הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle Y} , המשתנה הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X} מקבל אחד משני הערכים , בעוד שללא ההתניה מדובר במשתנה מקרי רציף. הדבר אינו מהווה סתירה, שכן אין הם גאוסיים במשולב.
תלות משותפת
ניתן להכליל את מושגי האי-תלות וחוסר הקורלציה עבור משתנים מרובים על ידי הרחבת ההגדרה: אוסף סופי של משתנים מקריים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X_1,X_2,...,X_k} יהיה בלתי תלוי אם ורק אם פונקציית ההסתברות המצטברת שלהם מקיימת הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle F_{X_1,X_2,...,X_k}(x_1,x_2,...,x_k) = F_{X_1}(x_1)\cdot F_{X_2}(x_2)\cdot ... \cdot F_{X_k}(x_k)} , וידיעת כל אוסף מבין המשתנים איננה משנה את ההסתברות של אוסף אחר מתוך אותה קבוצה, כל עוד שני האוספים זרים.
במקרה של אוסף משתנים מקריים בלתי תלויים, כל תת-אוסף של משתנים יהיה גם הוא בלתי תלוי, אך ההפך אינו נכון: אי-תלות של תתי קבוצות מתוך אוסף משתנים מקריים אינו מעיד, באופן כללי, על אי-תלות של אוסף כל המשתנים המקריים.
דוגמה: יהיו הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X,Y} זוג משתנים מקריים בלתי תלויים ושווי פילוג, המקבלים את הערכים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \pm 1} בהסתברות שווה. נסמן הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle Z=X\cdot Y} . חישוב ישיר יראה כי פילוגו של המשתנה המקרי זהה לפילוג של כל אחד משני המשתנים שכן הוא מקבל את הערכים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle \pm 1} בהסתברות שווה, והפילוג נותר בעינו גם כאשר מתנים באחד המשתנים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X} או הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle Y} . כלומר, כל זוג באוסף המשתנים הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X,Y,Z} הוא בלתי תלוי. לעומת זאת, השלשה איננה בלתי תלויה, שכן ידיעת ערכיהם של הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle X} ו-הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle Y} יחד מכתיבה באופן חד משמעי את ערכו של הפענוח נכשל (SVG (אפשר להפעיל MathML בעזרת הרחבת דפדפן): תשובה בלתי־תקינה ("Math extension cannot connect to Restbase.") מהשרת "https://wikimedia.org/api/rest_v1/":): {\displaystyle Z} .
מקורות
| מיזמי קרן ויקימדיה |
|---|
 ספר לימוד בוויקיספר: הסתברות/מבוא/אי תלות בין מאורעות |
- Papoulis, A., & Pillai, S. U. (2002). Probability, random variables, and stochastic processes. Tata McGraw-Hill Education.
24463422אי-תלות (הסתברות)