שונות

בתורת ההסתברות וסטטיסטיקה, שׁוֹנוּת (סימון: $\operatorname {Var} (X)$ מהמילה האנגלית Variance) היא מדד לפיזור ערכים באוכלוסייה נתונה ביחס לתוחלת שלה. מושג זה הוצג לראשונה על ידי רונלד פישר בשנת 1918.

באופן אינטואיטיבי, השונות היא המרחק (הריבועי) הממוצע של כל ערך, מהממוצע של כל הערכים. כלומר, אם השונות שווה אפס, כל הערכים זהים. ככל שהערך השונות עולה, כך הערכים "מפוזרים" יותר. מכיוון שהשונות מודדת מרחק, ערכה תמיד יהיה אי-שלילי.

השונות מוגדרת עבור משתנה רציף ועבור משתנה בדיד, וניתן לחשב אותה באופן תאורטי מפונקציית ההסתברות או לחשב אותה ביחס לאוכלוסייה או למדגם נתונים. יש התפלגויות (כגון התפלגות קושי) שהתוחלת שלהן אינה מוגדרת; וכאלה שהתוחלת שלהן מוגדרת, אבל השונות אינה מוגדרת.

היות שיחידות השונות הן ריבוע יחידות האוכלוסייה, דבר המקשה על השוואת גדלים, נעשה שימוש גם במושג סטיית תקן, השווה לשורש השונות, ומציג את הפיזור הממוצע ביחידות המקוריות.

הגדרה

עבור המשתנה המקרי $X$ – בדיד או רציף – אם נסמן (כרגיל) את התוחלת שלו ב- $\mu$ , אז השונות שלו מוגדרת כתוחלת של ריבוע המרחק מן המשתנה לתוחלת שלו:

\operatorname {Var} (X)\;{\overset {\underset {\mathrm {def} }{}}{=}}\;\mathbb {E} [(X-\mathbb {E} [X])^{2}]=\mathbb {E} [(X-\mu )^{2}]

מפיתוח אלגברי קצר מתקבל:

{\begin{aligned}\operatorname {Var} (X)&=\mathbb {E} [(X-\mathbb {E} [X])^{2}]\\&=\mathbb {E} \left(X^{2}-2X\mathbb {E} [X]+\mathbb {E} [X]^{2}\right)\\&=\mathbb {E} [X^{2}]-2\mathbb {E} [X]\mathbb {E} [X]+\mathbb {E} [X]^{2}\\&=\mathbb {E} [X^{2}]-\mathbb {E} [X]^{2}\end{aligned}}

כל זאת בתנאי שהאינטגרלים או הסכומים המעורבים בחישוב מתכנסים.

חישוב שונות

משתנה מקרי בדיד

בהינתן פונקציית הסתברות בדידה x₁ ↦ p₁, ..., x_n ↦ p_n, ערך השונות נתון בנוסחה

\operatorname {Var} (X)=\sum _{i=1}^{n}p_{i}\cdot (x_{i}-\mu )^{2}

.

משתנה מקרי רציף

בהינתן פונקציית הסתברות רציפה, חישוב השונות נתון על ידי

\operatorname {Var} (X)=\sigma ^{2}=\int (x-\mu )^{2}f(x)\,dx=\int x^{2}f(x)\,dx-\mu ^{2}

כאשר $\mu$ הוא ערך התוחלת

\mu =\int xf(x)\,dx

והאינטגרל מחושב על פני כל מקור פונקציית ההסתברות – במקרה של תומך חסום, על פני כל ערכי התומך.

דוגמאות

התפלגות נורמלית

ההתפלגות נורמלית עם הפרמטרים μ ו-σ היא התפלגות רציפה עבורה פונקציית צפיפות ההסתברות נתונה על ידי:

f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}},

כאשר μ הוא התוחלת, ערך השונות נתון על ידי:

\operatorname {Var} (X)=\int _{-\infty }^{\infty }{\frac {(x-\mu )^{2}}{\sqrt {2\pi \sigma ^{2}}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}\,dx=\sigma ^{2}.

חישוב אינטגרל זה על הפונקציה המכונה גאוסיין ניתן לביצוע באמצעות אינטגרלים כפולים ומעבר לקואורדינטות קוטביות. להתפלגות הנורמלית תפקיד מכריע בעולם ההסתברות עקב משפט הגבול המרכזי.

התפלגות מעריכית

התפלגות מעריכית עם הפרמטר λ ו-σ היא התפלגות רציפה עבורה תומך חצי אינסופי (הישר האי שלילי) פונקציית צפיפות ההסתברות נתונה על ידי:

f(x)=\lambda e^{-\lambda x},\,

ערך התוחלת שלה נתון על ידי μ = λ⁻¹. ערך השונות נתון על ידי:

\operatorname {Var} (X)=\int _{0}^{\infty }(x-\lambda ^{-1})^{2}\,\lambda e^{-\lambda x}dx=\lambda ^{-2}.\,

לכן עבור משתנה מקרי המתפלג באופן מעריכי σ² = μ².

התפלגות פואסון

התפלגות פואסון עם הפרמטר λ היא התפלגות בדידה עבור אינדקס k מספר טבעי א-שלילי, פונקציית הסתברות עבור k נתונה על ידי:

p(k)={\frac {\lambda ^{k}}{k!}}e^{-\lambda }

ערך התוחלת הוא μ = λ. ערך השונות נתון על ידי:

\operatorname {Var} (X)=\sum _{k=0}^{\infty }{\frac {\lambda ^{k}}{k!}}e^{-\lambda }(k-\lambda )^{2}=\lambda

לכן עבור משתנה מקרי המתפלג פואסון σ² = μ.

ההתפלגות הבינומית

ההתפלגות הבינומית עם הפרמטרים n ו-p היא התפלגות בדידה, המוגדרת לפי $P(k)={n \choose k}p^{k}(1-p)^{n-k}$ . ערך התוחלת הוא μ = np. ערך השונות הוא $\operatorname {Var} (X)=np(1-p)$ .

הטלת מטבע

התפלגות בינומית עם מקדם $p=0.5$ מתארת את ההסתברות לקבלת $k$ עץ מתוך $n$ הטלות. לכן ערך התוחלת של כמות העצים שהתקבלו נתונה על ידי: ${\frac {n}{2}}$ , וערך השונות על ידי: ${\frac {n}{4}}$ .

התפלגות אחידה

קובייה הוגנת

ניתן למדל הטלת קובייה הוגנת בעלת 6 צדדים על ידי משתנה מקרי בדיד המקבל ערכים בין 1 ל-6, בהסתברות שווה והיא $\textstyle {\frac {1}{6}}$ . ערך התוחלת הוא: (1 + 2 + 3 + 4 + 5 + 6)/6 = 3.5. ולכן נחשב את השונות להיות

{\begin{aligned}\sum _{i=1}^{6}{\tfrac {1}{6}}(i-3.5)^{2}={\tfrac {1}{6}}\sum _{i=1}^{6}(i-3.5)^{2}&={\tfrac {1}{6}}\left((-2.5)^{2}{+}(-1.5)^{2}{+}(-0.5)^{2}{+}0.5^{2}{+}1.5^{2}{+}2.5^{2}\right)\\&={\tfrac {1}{6}}\cdot 17.50={\tfrac {35}{12}}\approx 2.92\end{aligned}}

המקרה הכללי

משתנה מקרי X בעל התפלגות אחידה $\textstyle {\frac {1}{n}}$ אשר מקבל את הערכים הטבעיים בין 1 ל-n. נחשב את השונות על ידי:

{\begin{aligned}\operatorname {Var} (X)&=\mathbb {E} (X^{2})-(\mathbb {E} (X))^{2}\\&={\frac {1}{n}}\sum _{i=1}^{n}i^{2}-\left({\frac {1}{n}}\sum _{i=1}^{n}i\right)^{2}\\&={\tfrac {1}{6}}(n+1)(2n+1)-{\tfrac {1}{4}}(n+1)^{2}\\&={\frac {n^{2}-1}{12}}\end{aligned}}

תכונות

השונות תמיד אי שלילית $\operatorname {Var} (X)\geq 0$
השונות של משתנה מקרי שווה לאפס אם ורק אם המשתנה המקרי מקבל ערך קבוע בהסתברות 1
השונות של טרנספורמציה ליניארית על המשתנה המקרי $X$ היא: $\operatorname {Var} (aX+b)=a^{2}\operatorname {Var} (X)$ כאשר $\ a,\,b$ הם קבועים ממשיים.
השונות (Variance) שווה לשונות המשותפת (Covariance) של המשתנה עם עצמו: $\operatorname {Var} (X)=\operatorname {Cov} (X,X)$ , כאשר $\operatorname {Cov} (Y,Z))$ מסמן את השונות המשותפת של המשתנים $Y,Z$ .
השונות של סכום משתנים מקריים $X,Y$ $X,Y$ היא: $\operatorname {Var} (X+Y)=\operatorname {Var} (X)+2\operatorname {cov} (X,Y)+\operatorname {Var} (Y)$ $\operatorname {Var} (X+Y)=\operatorname {Var} (X)+2\operatorname {cov} (X,Y)+\operatorname {Var} (Y)$ .
- ניתן להרחיב את התכונה לחישוב שונות סכום משתנים מקריים כך:
$\operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)=\sum _{i=1}^{n}\sum _{j=1}^{n}\operatorname {Cov} (X_{i},X_{j})=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+2\sum _{1\leq i}\sum _{<j\leq n}\operatorname {Cov} (X_{i},X_{j})$

בנוסף, השונות המשותפת של כל זוג משתנים מתאפסת אם הם בלתי תלויים – כך שאם כל המשתנים המקריים בלתי תלויים זה בזה, אז השונות של סכום המשתנים המקריים תהיה שווה לסכום השונויות של כל אחד מהם.
משפט השונות השלמה: אם $X,Y$ משתנים מקריים, והשונות של $Y$ סופית, אפשר לפרק את השונות של $X$ באופן הבא:
$\operatorname {Var} (X)=\mathbb {E} (\operatorname {Var} (X|Y))+\operatorname {Var} (\mathbb {E} (X|Y))$ .

שונות האוכלוסייה ושונות המדגם

שונות האוכלוסייה

עבור אוכלוסייה סופית (שהתפלגותה אינה ידועה) ניתן לחשב את השונות בעזרת הנוסחה:

\sigma ^{2}={\frac {\sum _{i=1}^{N}\left(x_{i}-{\overline {x}}\right)^{2}}{N}}

${\overline {x}}$ - ממוצע האוכלוסייה.
$\ N$ - מספר האיברים באוכלוסייה.

נוסחה שימושית לחישוב שונות האוכלוסייה:

\sigma ^{2}={\frac {\sum _{i=1}^{N}x_{i}^{2}}{N}}-\left({\frac {\sum _{i=1}^{N}x_{i}}{N}}\right)^{2}={\frac {\sum _{i=1}^{N}x_{i}^{2}-N*{\overline {x}}^{2}}{N}}\!

שונות המדגם

בהינתן מדגם מקרי פשוט $(y_{1},\dots ,y_{N})$ אם נסתכל על המדגם עצמו כעל אוכלוסייה בפני עצמה, אז שונות המדגם נתונה על ידי הנוסחה: $s^{2}={\frac {1}{N}}\sum _{i=1}^{N}\left(y_{i}-{\overline {y_{N}}}\right)^{2}$ .

שונות המדגם היא אומד מומנטים עבור שונות האוכלוסייה. בהתפלגות הנורמלית שונות המדגם היא גם אומד נראות מרבית עבור שונות האוכלוסייה.

אומד חסר הטיה לשונות האוכלוסייה

כאשר נתון מדגם מקרי פשוט $(y_{1},\dots ,y_{N})$ ניתן לאמוד את שונות האוכלוסייה על ידי הנוסחה: $s^{2}={\frac {1}{N-1}}\sum _{i=1}^{N}\left(y_{i}-{\overline {y}}\right)^{2}$ ; בתנאים רגילים, זהו אומד בלתי מוטה. אם הנתונים מעוגלים בזמן המדידה, יש להפעיל את תיקון שפרד. עקב היותו אומד חסר הטיה, אומד זה הוא המקובל בשימוש בתחום הסטטיסטיקה.