אי-תלות (הסתברות)

בתורת ההסתברות, שני מאורעות הם תלויים סטטיסטית אם הידיעה על התרחשותו של אחד מהם משנה את ההסתברות להתרחשות המאורע האחר. מאורעות שאינם תלויים סטטיסטית נקראים בלתי תלויים סטטיסטית. מקובל להשמיט את תוספת המילה "סטטיסטית" כאשר ההקשר ברור, אך יש להבחין בין תלות סטטיסטית לתלות ליניארית.

הגדרה

שני מאורעות הם בלתי תלויים אם ההסתברות ששניהם יקרו שווה למכפלת ההסתברויות של כל מאורע בנפרד, כלומר: $\ \mathbb {P} \{A\cap B\}=\mathbb {P} \{A\}\cdot \mathbb {P} \{B\}$. אם ההסתברות של B אינה אפס, הגדרה זו שקולה לכך שההסתברות של המאורע A בפני עצמו, שווה להסתברות המותנית שלו אם ידוע ש-B התרחש, כלומר: $\ \mathbb {P} \{A\}=\mathbb {P} \{A|B\}$. נוסחה זו מתקבלת מן ההגדרה מהפעלת חוק בייס.

דוגמה: שני ומיכל רוכשות כרטיסי לוטו וממלאות ניחושים שונים. המאורע 'מיכל זכתה בפרס הראשון' והמאורע 'שני זכתה בפרס הראשון' תלויים, מכיוון שהניחושים שונים, והידיעה על זכייתה של שני הופכת את ההסתברות לזכייתה של מיכל ל-0, כאשר לפני כן ההסתברות הייתה אמנם קטנה אך גדולה ממש מאפס. לעומת זאת, המאורע 'מיכל לא זכתה בפרס הראשון בכל ההגרלות הקודמות' והמאורע 'מיכל תזכה בפרס הראשון בהגרלה הבאה' הם בלתי תלויים, שכן הידיעה על זכייתה של מיכל בהגרלה כלשהי איננה משנה את ההסתברות לזכייה מחודשת.

הערה: כל שני מאורעות זרים הם תלויים, שכן ידיעת קיומו של האחד מבטיחה את אי קיומו של האחר. לפי הגדרה, נקבל $\ \mathbb {P} \{A\cap B\}=0$ ודבר זה יעיד על אי-תלות רק במקרה מנוון שבו $\mathbb {P} \{A\}=0$ או $\mathbb {P} \{B\}=0$.

תלות ואי תלות של משתנים מקריים

ההגדרה לעיל מתייחסת למאורעות, אך הגדרת התלות מוצגת באופן דומה גם עבור משתנים מקריים: שני משתנים מקריים $X$ ו-$Y$ הם בלתי תלויים אם ורק אם פונקציית ההסתברות המצטברת שלהם מקיימת: $F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)$. נשים לב כי הגדרה זו כוללת הן משתנים מקריים בדידים והן משתנים מקריים רציפים. במקרה שבו קיימת למשתנים המקריים הנתונים גם פונקציית צפיפות הסתברות, הם בלתי תלויים אם ורק אם $f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)$.

משמעות הביטויים לעיל בעלת חשיבות רבה בהסתברות וסטטיסטיקה. כאשר המשתנים תלויים, יש לטפל בפונקציית ההסתברות המשותפת, פונקציה דו-ממדית (או רב-ממדית במקרה הכללי), ואילו כאשר המשתנים בלתי תלויים, ניתן לטפל במקום זאת באוסף פונקציות חד-ממדיות, אותן לרוב קל יותר לשערך.

משתנים מקריים בלתי מתואמים (חסרי קורלציה)

שני משתנים מקריים $X,Y$ נקראים בלתי מתואמים (או חסרי קורלציה) אם התוחלות שלהם מקיימות $\ \mathbb {E} \{XY\}=\mathbb {E} \{X\}\mathbb {E} \{Y\}$ . במקרים רבים קשה מאד להוכיח או לבדוק אי תלות סטטיסטית, שכן נדרשת ידיעה של פונקציית ההסתברות המצטברת במלואה, דבר שאינו בהכרח זמין בהינתן אוסף מדידות מסוים. בנוסף, במקרים רבים המשתנים עשויים להיות תלויים סטטיסטית לפי ההגדרה, אך ייתכן שקיימת במערכת אי תלות חלשה יותר. במקרים כאלו, ניתן לעיתים לבדוק האם המשתנים בלתי מתואמים ובכך לקבל מושג כלשהו על אופי הקשר בין המשתנים.

דוגמה: במקרים רבים מתעניינים בשונות של סכום שני משתנים מקריים: $\ {\mbox{Var}}(X+Y)={\mbox{Var}}(X)+{\mbox{Var}}(Y)+2{\mbox{Cov}}(X,Y)$, כאשר ${\mbox{Cov}}(X,Y)$ היא השונות המשותפת של שני המשתנים המקריים. מכיוון שהגדרת השונות המשותפת היא ${\mbox{Cov}}(X,Y)=\mathbb {E} \{XY\}-\mathbb {E} \{X\}\mathbb {E} \{Y\}$, הרי שעבור שני משתנים מקריים בלתי מתואמים נקבל כי שונות הסכום היא סכום השונויות. באופן זה קיבלנו מושג על הקשר בין שני המשתנים, אף על פי שלא הוכחנו אי-תלות סטטיסטית.

ניתן להראות כי אוסף משתנים מקריים בלתי תלויים הם גם בלתי מתואמים, באמצעות אחת ההגדרות לעיל בשילוב עם הגדרת התוחלת והשונות המשותפת. ההפך אינו נכון, כלומר: במקרה הכללי, חוסר קורלציה איננו מעיד על אי-תלות סטטיסטית.

אי תלות סטטיסטית וחוסר קורלציה עבור משתנים מקריים גאוסיים

שני משתנים מקריים $X,Y$ נקראים משתנים מקריים גאוסיים במשולב (או: במשותף) אם פונקציית הצפיפות המשותפת שלהם גאוסית רב-ממדית. במקרה זה גם כל אחד מהמשתנים יהיה משתנה מקרי גאוסי, וחוסר קורלציה בין המשתנים יעיד על אי-תלות סטטיסטית. כלומר, עבור משתנים אקראיים גאוסיים במשולב, יש שקילות בין אי-תלות סטטיסטית לחוסר קורלציה. ניתן להראות זאת על ידי כתיבת פונקציית הצפיפות באופן ישיר והצבת שונות משותפת מתאימה.

עם זאת, יש לשים לב כי במקרה זה נדרשים המשתנים להיות גאוסיים במשולב, ולא די בכך שנתבונן בשני משתנים אקראיים גאוסיים כלליים, שלהם אין בהכרח צפיפות משותפת גאוסית רב-ממדית.

הערה: ייתכנו מקרים בהם פונקציית הצפיפות אינה קיימת, ובמקרה זה יש להתבונן בפונקציה האפיינית.

דוגמה: יהי $X$ משתנה מקרי נורמלי סטנדרטי (כלומר: בעל תוחלת אפס ושונות יחידה), ויהי $B$ משתנה מקרי בלתי תלוי ב-$X$ המקבל את הערכים $\pm 1$ בהסתברות שווה. ניתן להראות על ידי בחינת פונקציית ההתפלגות המתאימה כי המשתנה המקרי $Y=BX$ גאוסי ובעל פילוג זהה למשתנה המקרי $X$. כמו כן ניתן לראות כי שני המשתנים הגאוסיים $X,Y$ חסרי קורלציה:

$\mathbb {E} \{XY\}=\mathbb {E} \{X\cdot BX\}=\mathbb {E} \{B\}\mathbb {E} \{X^{2}\}=0=\mathbb {E} \{X\}\mathbb {E} \{Y\}$.

כלומר, בידינו שני משתנים גאוסיים וחסרי קורלציה, אך ניתן להראות שהם גם תלויים סטטיסטית, למשל על ידי ההבחנה כי מתקיים $Y^{2}=B^{2}X^{2}=X^{2}\Rightarrow X=\pm Y$, כלומר: בידיעת ערכו של $Y$, המשתנה $X$ מקבל אחד משני הערכים $\pm Y$, בעוד שללא ההתניה מדובר במשתנה מקרי רציף. הדבר אינו מהווה סתירה, שכן אין הם גאוסיים במשולב.

תלות משותפת

ניתן להכליל את מושגי האי-תלות וחוסר הקורלציה עבור משתנים מרובים על ידי הרחבת ההגדרה: אוסף סופי של משתנים מקריים $X_{1},X_{2},...,X_{k}$ יהיה בלתי תלוי אם ורק אם פונקציית ההסתברות המצטברת שלהם מקיימת $F_{X_{1},X_{2},...,X_{k}}(x_{1},x_{2},...,x_{k})=F_{X_{1}}(x_{1})\cdot F_{X_{2}}(x_{2})\cdot ...\cdot F_{X_{k}}(x_{k})$, וידיעת כל אוסף מבין המשתנים איננה משנה את ההסתברות של אוסף אחר מתוך אותה קבוצה, כל עוד שני האוספים זרים.

במקרה של אוסף משתנים מקריים בלתי תלויים, כל תת-אוסף של משתנים יהיה גם הוא בלתי תלוי, אך ההפך אינו נכון: אי-תלות של תתי קבוצות מתוך אוסף משתנים מקריים אינו מעיד, באופן כללי, על אי-תלות של אוסף כל המשתנים המקריים.

דוגמה: יהיו $X,Y$ זוג משתנים מקריים בלתי תלויים ושווי פילוג, המקבלים את הערכים $\pm 1$ בהסתברות שווה. נסמן $Z=X\cdot Y$. חישוב ישיר יראה כי פילוגו של המשתנה המקרי $Z$ זהה לפילוג של כל אחד משני המשתנים שכן הוא מקבל את הערכים $\pm 1$ בהסתברות שווה, והפילוג נותר בעינו גם כאשר מתנים באחד המשתנים $X$ או $Y$. כלומר, כל זוג באוסף המשתנים $X,Y,Z$ הוא בלתי תלוי. לעומת זאת, השלשה איננה בלתי תלויה, שכן ידיעת ערכיהם של $X$ ו-$Y$ יחד מכתיבה באופן חד משמעי את ערכו של $Z$.

מקורות

• Papoulis, A., & Pillai, S. U. (2002). Probability, random variables, and stochastic processes. Tata McGraw-Hill Education.

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

24463422אי-תלות (הסתברות)