משתנים מקריים בלתי-תלויים ושווי-התפלגות

תרשים המראה התפלגות אחידה

בתורת ההסתברות ובסטטיסטיקה, משתנים אקראיים הם בלתי-תלויים ושווי-התפלגות (independent and identically distributed; בראשי תיבות: IID) אם לכל המשתנים המקריים אותה התפלגות הסתברות והם בלתי תלויים הדדית. המושג הוגדר לראשונה בסטטיסטיקה ויש לו חשיבות רבה בתחומים שונים כגון כריית מידע, למידת מכונה ועיבוד אותות.

הגדרה

יהיו $X$ ו־$Y$ משתנים מקריים מהתפלגות שהתומך שלה, $I$, הוא תת-קבוצה של הממשיים, $I\subseteq \mathbb {R}$. יהיו $F_{X}(x)=\operatorname {P} (X\leq x)$ ו־$F_{Y}(y)=\operatorname {P} (Y\leq y)$ פונקציות ההתפלגות המצטברות של $X$ ו־$Y$, בהתאמה.

נסמן ב־$F_{X,Y}(x,y)=\operatorname {P} (X\leq x\land Y\leq y)$ את פונקציית ההתפלגות המצטברת המשותפת שלהם.

שני משתנים אקראיים $X$ ו־$Y$ הם שוויי התפלגות אם ורק אם $F_{X}(x)=F_{Y}(x)\quad \forall x\in I$.

שני משתנים אקראיים $X$ ו־$Y$הם בלתי תלויים אם ורק אם $F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)\quad \forall x,y\in I$ (ראו גם אי-תלות (הסתברות) § שני משתנים מקריים).

שני משתנים אקראיים $X$ ו־$Y$ הם בלתי־תלויים ושווי־התפלגות אם הם בלתי תלויים וגם שוויי התפלגות, כלומר אם ורק אם מתקיים:

${\begin{aligned}&F_{X}(x)=F_{Y}(x)&\forall x\in I\\&F_{X,Y}(x,y)=F_{X}(x)\cdot F_{Y}(y)&\forall x,y\in I\\\end{aligned}}$

ניתן להרחיב את ההגדרה באופן טבעי ליותר משני משתנים מקריים. נאמר כי $n$ משתנים אקראיים $X_{1},\ldots ,X_{n}$ הם בלתי־תלויים ושווי־התפלגות אם הם בלתי־תלויים (וראה אי-תלות (הסתברות) § יותר משני משתנים מקריים) ושווי-התפלגות, כלומר אם ורק אם

${\begin{aligned}&F_{X_{1}}(x)=F_{X_{k}}(x)\,&\forall k\in \{1,\ldots ,n\}{\text{ and }}\forall x\in I\\&F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=F_{X_{1}}(x_{1})\cdot \ldots \cdot F_{X_{n}}(x_{n})\,&\forall x_{1},\ldots ,x_{n}\in I\end{aligned}}$

כאשר $F_{X_{1},\ldots ,X_{n}}(x_{1},\ldots ,x_{n})=\operatorname {P} (X_{1}\leq x_{1}\land \ldots \land X_{n}\leq x_{n})$ מציין את פונקציית ההתפלגות המצטברת המשותפת של $X_{1},\ldots ,X_{n}$.

מבוא

סטטיסטיקה עוסקת בדרך כלל במדגמים אקראיים. ניתן להתייחס למדגם אקראי כאל קבוצה של אובייקטים שנבחרים באופן מקרי. באופן רשמי יותר, זוהי קבוצת דגימות מקריות בלתי תלויות, שוות התפלגות (IID).

• שוות התפלגות – הדגימות נדגמו מאותה התפלגות הסתברות.
• בלתי תלויות – דגימת הפריטים הם אירועים בלתי תלויים. במילים אחרות, הם אינם קשורים זה לזה; ערכו של משתנה אחד שנדגם אינה מספק מידע על ערכו של כל משתנה אחר.

יישום

הנחה נפוצה במודלים סטטיסטיים היא שמשתנים מקריים הם בלתי-תלויים ושווי-התפלגות. הנחה זו מקלה על ניתוח המתמטי, אך לעיתים אינה מציאותית. הנחה זו משמשת גם במשפט הגבול המרכזי, הקובע שהתפלגות ההסתברות של הסכום (או הממוצע) של משתנים מקריים בלתי-תלויים ושווי-התפלגות בעלי שונות סופית שואפת להתפלגות נורמלית.

ההנחה משמשת גם בהקשר של סדרות של משתנים מקריים. ואז, "בלתי-תלויים ושווי-התפלגות" מרמז על כך שמשתנה מקרי בסדרה אינו תלוי במשתנים המקריים שבאו לפניו. באופן זה, סדרה של משתנים בלתי-תלויים ושווי-התפלגות שונה מסדרה מרקובית, שבה התפלגות ההסתברות עבור המשתנה המקרי ה־$n$ היא פונקציה של המשתנה המקרי הקודם ברצף (עבור שרשרת מרקוב מסדר ראשון).

רצף משתנים מקריים בלתי-תלויים ושווי-התפלגות אינו מרמז על כך שההסתברויות של כל האלמנטים במרחב המדגם חייבים להיות זהים. לדוגמה, זריקות סדרת הטלות של קובייה מוטה תהווה סדרה של משתנים בלתי-תלויים ושווי-התפלגות אף על פי שהתוצאות מוטות.

דוגמאות

דוגמה 1

רצף של תוצאות סיבוב של גלגל רולטה הוגן (או לא הוגן) הן בלתי־תלויות ושוות־התפלגות. אחת ההשלכות של זה היא שאם כדור הרולטה נוחת על "אדום", למשל, 20 פעמים ברציפות, הסיכוי שהתוצאה הבאה תהיה "שחור" אינה גדולה או קטנה מאשר בכל סיבוב אחר (ראה כשל המהמר).

דוגמה 2

מטילים מטבע 10 פעמים.

1. בלתי-תלויות – תוצאה של כל הטלה לא תשפיע על תוצאה אחרת, כלומר 10 התוצאות אינן תלויות זו בזו.
2. שוות-התפלגות – לא משנה אם המטבע הוא הוגן (הסתברות 1/2 ל"עץ" ו־1/2 ל"פלי") או לא הוגן, כל עוד נעשה שימוש באותו מטבע עבור כל הטלה, לכל הטלה תהיה אותה התפלגות.

סדרה כזה של שתי תוצאות בלתי־תלויות ושוות־התפלגות נקרא גם תהליך ברנולי.

דוגמה 3

שולפים קלף אקראי מחפיסת קלפים רגילה המכילה 52 קלפים, ולאחר מכן מחזירים את הקלף לחפיסה. חוזרים על פעולה זו 52 פעמים.

1. בלתי תלויות – תוצאה של שליפת קלף לא תשפיע על השליפה הבאה, כלומר 52 התוצאות אינן תלויות זו בזו. (לעומת זאת, אם כל קלף שנשלף אינו מוחזר לחפיסה, השליפות הבאות יושפעו ממנו, והתוצאות לא יהיו שוות-התפלגות. למשל אם הקלף הראשון שנשלף הוא מלך, ההסתברות לשליפת מלך בשליפה הבאה קטנה.
2. שוות-התפלגות – לאחר הוצאת קלף אחד ממנו, בכל פעם ההסתברות למלך היא 4/52, מה שאומר שההסתברות זהה בכל פעם.

בלמידת מכונה

למידת מכונה משתמשת בכמויות גדולות של נתונים. כדי לאמן מודלים של למידת מכונה בצורה יעילה, חיוני להשתמש בנתונים היסטוריים הניתנים להכללה. אם נתוני האימון אינם מייצגים את התפלגות הנתונים הכללית, ביצועי המודל על נתונים חדשים עלולים להיות לא מדויקים.

ההנחה כי הדוגמאות בלתי־תלויות ושוות־התפלגות מאפשרת הפחתה משמעותית במספר המקרים הנדרשים בקבוצת האימון

בבעיות אופטימיזציה, ההנחה של התפלגות בלתי־תלויות ושוות־התפלגות מפשטת את חישוב פונקציית הנראות. בשל הנחת אי-התלות, ניתן לבטא את פונקציית הנראות כמכפלה של ההסתברויות של הדוגמאות בהינתן המודל:

$l(\theta )=P(x_{1},x_{2},x_{3},...,x_{n}|\theta )=P(x_{1}|\theta )P(x_{2}|\theta )P(x_{3}|\theta )...P(x_{n}|\theta )$,

כאשר $\theta$ מייצגת את הפרמטרים של המודל. אומדן הנראות המקסימלית ${\widehat {\theta }}$ מתקבל על ידי מקסום הלוגריתם של פונקציית הנראות ולא של פונקציית הנראות עצמה. שינוי זה נובע משיקולים נומריים, כגון הפיכת הכפל לחיבור והצורך להתמודד עם ערכים קטנים מאוד. כלומר:

$${\widehat {\theta }}=\mathop {\rm {argmax}} \limits _{\theta }\log(l(\theta ))$$

כאשר

$\log(l(\theta ))=\log(P(x_{1}|\theta ))+\log(P(x_{2}|\theta ))+\log(P(x_{3}|\theta ))+...+\log(P(x_{n}|\theta ))$.

ראו גם

• משתנים בלתי תלויים
• משפט הגבול המרכזי

הערות שוליים

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

משתנים מקריים בלתי-תלויים ושווי-התפלגות40332783Q378542