היסטוריה של תורת ההסתברות

ההיסטוריה של תורת ההסתברות היא השתלשלות התפתחותה של תורת ההסתברות כתורה מדעית נחקרת, החל משלביה המוקדמים במאות ה-16 וה-17, כשחישובי ההסתברות נעשו באופן נאיבי ואינטואיטיבי, ועד ביסוסה המתמטי במאות ה-19 וה-20, בהן היא הפכה לתורה מתמטית העומדת על בסיס אקסיומטי איתן.

משחר ההיסטוריה האנושית עסקו בני-אדם בתרבויות שונות בפעילויות הנקבעות באופן אקראי, כמו הימורים ומשחקי מזל. במקרים רבים גרסה האמונה כי הגורל נקבע על ידי האלילים, וכי הסתמכות על רכיב הכרעה אקראי היא התגרות באלים ומעשה שטן. האקראיות נותרה עלומה בתפיסתם של בני האדם בתרבויות השונות, עד לאמצע המאה ה-16 בה מתמטיקאים החלו בתהליך שהוביל להתפתחותה של תורת ההסתברות התאורטית המטפלת באקראיות באופן מתמטי.

לכל אורך ההיסטוריה של תורת ההסתברות היא הייתה בעלת השפעה גדולה על ענפי מדע שונים. בתחילה היא השפיעה על ענפים כמו דמוגרפיה, אפידמיולוגיה ואסטרונומיה, בהמשך התרחבה השפעתה גם על מתמטיקה וסטטיסטיקה, במידה ניכרת גם על אלגוריתמיקה ומדעי המחשב, וכן על ענפי מדעי הטבע, כמו פיזיקה ובפרט פיזיקה סטטיסטית ומכניקת הקוונטים. להתפתחות תורת ההסתברות הייתה השפעה מכריעה על התפתחותם של תחומים יסודיים בתוך כל ענפי המדע הללו, ותמצית השפעתה הייתה המסגרת הפורמלית שהיא סיפקה כדי לכמת גדלים שאינם ידועים; גדלים נצפים, גדלים חישוביים וגדלים תאורטיים. במקרים רבים גם לענפי המדע הללו הייתה השפעה על התפתחותה של תורת ההסתברות.

המחקר על אודות ההיסטוריה של תורת ההסתברות ידוע עוד מאמצע המאה ה-19. כך בשנת 1865 פרסם המתמטיקאי וההיסטוריון של המתמטיקה אייזיק טודהאנטר את הספר "היסטוריה של התאוריה המתמטית של הסתברות מזמנו של פסקל ועד זמנו של לפלס".

עבודות מוקדמות

לוקה פאצ'ולי, הראשון שבחן בעיה הסתברותית בכלים מתמטיים.

ניסיון להתייחס לבעיה הכוללת רכיב אקראי כאל בעיה מתמטית, נעשה בשנת 1494 על ידי המתמטיקאי האיטלקי לוקה פאצ'ולי בספרו שכונה בקיצור "סיכום". פאצ'ולי טיפל בבעיה שכונתה בעיית הניקוד: שתי קבוצות משחקות זו נגד זו. כדי שקבוצה תנצח עליה לצבור 60 נקודות, ואז היא זוכה ב-22 דוקטים. מסיבה בלתי צפויה המשחק נפסק לפני שאף אחת משתי הקבוצות הצליחה לצבור 60 נקודות, והמצב היה שקבוצה $A$ זכתה ב-50 נקודות וקבוצה $B$ זכתה ב-30 נקודות. פתרונו של פאצ'ולי היה לחלק את הכסף ביחס של $5:3$ בין הקבוצות, בהתאם למספר הנקודות שצברו. פתרון זה מניח כי היחס בין הסיכוי לניצחון של קבוצה $A$ לבין הסיכוי לניצחון של קבוצה $B$ נקבע על ידי ההיסטוריה של הניצחונות, בה היחס עמד על $5:3$. אך פתרון זה שגוי, שכן בהנחה כי יש אי-תלות בין המשחקים, הרי שהיחס בין סיכויי הניצחונות של הקבוצות נקבע על ידי מספר המשחקים העתידיים שנדרשים כדי לנצח. כך לפי ההיגיון של פאצ'ולי, אם לקבוצה $A$ הייתה נקודה אחת ולקבוצה $B$ לא היו נקודות כלל, קבוצה $A$ הייתה צריכה לזכות בכל הדוקטים, אך בוודאי קיימת הסתברות חיובית כלשהי לניצחון של קבוצה $B$.

תובנה פילוסופית-תאולוגית הנוגעת להבחנה הסתברותית, פורסמה בשנת 1577 על ידי ברתולומיאו דה-מדינה, תאולוג ספרדי. דה-מדינה קבע כי ניתן לבצע בחירה מוסרית שלתוצאותיה הטובות יש הסתברות חיובית כלשהי (במובן האינטואיטיבי של הסתברות), אפילו אם ההסתברות של האלטרנטיבה גבוהה יותר. כך למשל אם אדם מחזיק בדעה המנוגדת לדעתה של הכנסייה הקתולית, מותר לו לבחור לפעול בהתאם לדעתו שלו, על אף שלדעת דה-מדינה ההסתברות לכך שהצדק עם הכנסייה גבוהה מההסתברות שהצדק עמו.

ג'ירולמו קרדנו, הראשון שעסק באופן שיטתי בבעיות הסתברותיות.

המתמטיקאי ג'ירולמו קרדנו היה הראשון שהגדיר באופן פורמלי את ערך ההסתברות להתרחשות של מאורע מסוים. בחיבורו "ספר על משחקי מזל" (בלטינית: "Liber de ludo aleae"), אותו כתב בשנות ה-60 של המאה ה-16, כמעין מדריך למהמר, הוצג לראשונה טיפול שיטתי בבעיות של הסתברות. בספר הובאו טבלאות להדגמת האפשרויות השונות בזריקת שתיים או שלוש קוביות יחד ואת ההסתברות לקבל צירופים שונים. למשל, בשלוש קוביות יש 6 אפשרויות לשלושה מספרים זהים, 30 אפשרויות לשני מספרים זהים ואחד שונה, בשלושה סידורים שונים - ובסך הכל 90 אפשרויות. 20 אפשרויות לשלושה מספרים שונים זה מזה בשישה סידורים שונים, ובסך הכל 120 אפשרויות. סך האפשרויות הכללי הוא $216=90+120+6$. קרדנו הציג הגדרה כללית להסתברות להתרחשות תוצאה אחת מבין תוצאות שונות שלכולן סיכויים שווים, וקבע כי היא מספר האפשרויות לקבל את התוצאה, לחלק למספר האפשרויות לקבל את כל התוצאות. כדוגמה הוא מביא זריקת קוביית משחק הוגנת ובעלת שש פאות, וכותב כי ההסתברות להתרחשות קבלת מספר מסוים (למשל 2), היא ${\frac {1}{6}}$.

קרדנו אף ערך חישוב מורכב בעזרת ממצאיו. תחילה חישב את ההסתברות לקבל 6 לפחות באחת מהקוביות, שהיא: ${\frac {91}{216}}=1-\left({\frac {5}{6}}\right)^{3}$, ואחר כך חישב את הסיכויים בהימור שייצא 6 בכל אחת משלוש זריקות של שלוש קוביות. קרדנו הראה שיחס הסיכויים הוא: ${\frac {91^{3}}{216^{3}-91^{3}}}$

קרדנו, אשר בעבודותיו חישב מספר אפשרויות נפרדות לקבלת מספרן המשולב, קבע בעצם את כלל החיבור (אם כי לא ניסח את הכלל האמור במפורש): אם ההסתברות למאורע $A$ היא $p$ וההסתברות למאורע $B$ היא $q$, אזי ההסתברות להתרחשות המאורע $A~{\text{or}}~B$ היא $p+q$ (כלל זה תקף רק כאשר המאורעות $A,B$ זרים). למען השלמות ניתן בספרו ניתוח של משחקים בקוביות דמיוניות שלהן פחות משש פאות. בנוסף, קרדנו ניתח בספרו את המושג "סיכוי", ומגדירו כיחס שבין מספר האפשרויות לזכות ומספר האפשרויות להפסיד. בהיקף קטן הוא עסק גם במשחקי קלפים.

קרדנו טיפל אף הוא בבעיית הניקוד, ונמנע מהטעות שביצע לפניו פאצ'ולי. הוא היה הראשון שהבין שצריך להתייחס למספר המשחקים שנותרו לכל קבוצה כדי לנצח כמפתח לחלוקה, ולא למשחקים שכל קבוצה כבר ניצחה. עם זאת קרדנו לא הגיע לנוסחה כללית לפתרון בעיית הניקוד.

ספר זה נדפס רק ב-1663, באיחור של כמעט 100 שנים, מה שמנע מקרדנו את הבכורה בייסוד תורת ההסתברות. אך גם כך הגיעו תוצאות עבודתו בדרכים אחרות לידיעת המתמטיקאים של דורו ושל הדורות הבאים.

הולדת הקומבינטוריקה ותורת ההסתברות הנאיבית

המקדם הבינומי

ערך מורחב – מקדם בינומי

תוצאה שקרדנו הציג השייכת לתחום הקומבינטוריקה והתפרסמה מחוץ לספרו האמור, עוסקת במספר תתי הקבוצות בגודל $k$ איברים מתוך קבוצה בגודל $n$ איברים. קרדנו פתר את הבעיה באופן הבא: קבוצה טיפוסית מגודל $k$ מורכבת מאיבר ראשון, עבורו יש $n$ אפשרויות בחירה, מאיבר שני, עבורו יש $n-1$ אפשרויות בחירה, וכן הלאה, עד האיבר ה-$k$, עבורו יש $n-k+1$ אפשרויות בחירה. ובסך הכל ישנן $n\cdot (n-1)\cdot \dots \cdot (n-k+1)$ אפשרויות לבנות תת-קבוצה בגודל $k$. עם זאת, במקרה בו סדר האיברים בתת-הקבוצה אינו משנה יש להקפיד לא לספור פעמיים קבוצות זהות המתקבלות זו מזו על ידי שינוי סדר. מספר המיקומים הפנימיים השונים של $k$ איברים כלשהם בתוך קבוצה בגודל $k$ הם: $k$ מיקומים לאיבר הראשון, $k-1$ מיקומים לאיבר לשני, וכן הלאה, עד האיבר ה-$k$ שמיקומו יחיד, $k-k+1=1$. בסיכום, מספר האפשרויות לבנות תת-קבוצה כמבוקש שבה הסדר הפנימי אינו חשוב, הוא הנוסחה המפורסמת:

${\binom {n}{k}}={\frac {n\cdot (n-1)\cdot \dots \cdot (n-k+1)}{k\cdot (k-1)\cdot ...\cdot 1}}={\frac {n!}{(n-k)!\cdot k!}}$

תוצאה זו, קומבינטורית באופיה, חיונית לחישובים הסתברותיים בסיסיים. היא התגלתה עוד קודם לכן על ידי לוי בן גרשון (המכונה הרלב"ג), במאה ה-14, אך לא נודעה ברבים בזמנה, והקרדיט עבור הגילוי ניתן למתמטיקאי הצרפתי בלז פסקל שהציג אותה בצורה הפופולרית ביותר — משולש פסקל:

1 שורה 0
1 1 שורה 1
1 2 1 שורה 2
1 3 3 1 שורה 3
1 4 6 4 1 שורה 4
............... .........

ערך כל איבר במשולש הוא סכום שני אילו שמעליו. האיבר ה-$k$, כאשר $k=0,1,2,...$, בשורה ה-$n$, נותן את הפתרון. למשל, ישנן 6 אפשרויות — האיבר השני (השמאלי ביותר הוא כזכור האיבר ה-0) בשורה הרביעית — לקחת שני עצמים מתוך ארבעה. בנוסף לכך, פסקל הוכיח כ-20 טענות שונות בקשר למשולש זה.

בשנים 1636–1637 מצא מרן מרסן הכללה לנוסחה עבור מקרה בו הסדר הפנימי דווקא משנה. מרסן תיאר את מספר האפשרויות ללקיחת $k_{1}$ עצמים מסוג אחד, $k_{2}$ עצמים מסוג שני עד $k_{j}$ מסוג $j$, מתוך $n$ עצמים, כאשר הסדר הפנימי בתוך כל תת-קבוצה אינו משנה:

${\frac {n!}{k_{1}!\cdot k_{2}!\cdot \dots \cdot k_{j}!}}$

ב-1678 טבע תומאס סטרוד את המושג פרמוטציה (בעברית: תמורה) ויישם את נוסחת מרסן לחישוב הסתברות. תחילה חישב סטרוד את מספר הצורות לחלק קבוצה בת $n$ איברים ל-$j$ תת-קבוצות בגדלים $k_{1},k_{2},...,k_{j}$ כך שמתקיים $k_{1}+k_{2}+...+k_{j}=n$, ולפי נוסחת מרסן מצא כי מספר זה הוא:

${\frac {n!}{k_{1}!\cdot k_{2}!\cdot ...\cdot k_{j}!}}$

באמצעות תוצאה קומבינטורית זו פתר סטרוד את הבעיה הבאה: בהינתן $j$ קוביות הוגנות כך שהקוביה ה-$i$ היא בעלת $k_{i}$ פאות (ממוספרות $1,2,...,k_{i}$), מהי ההסתברות שבהטלה של כולן יחד, סכום המספרים יהיה $n$.

פסקל ופרמה

בלז פסקל (מימין) ופייר דה פרמה (משמאל),
שהתכתובת ביניהם נחשבת ללידתה של תורת ההסתברות.

ידוע כי עבודות של האסטרונומים יוהאנס קפלר וגלילאו גליליי שילבו אלמנטים הסתברותיים, אולם למרות זאת בקרב היסטוריונים של המתמטיקה מקובל לתארך את לידתה של תורת ההסתברות הנאיבית לשנת 1654. בשנה זו פנה אציל צרפתי בשם שבליה דה מרה למתמטיקאי הצרפתי בלז פסקל בנוגע למשחק קוביות והציג שאלה שזכתה לשם "בעיית הניקוד": נניח ששני שחקנים משחקים משחק מזל בו בכל תור אחד מהם מקבל נקודה באופן אקראי (למשל לפי תוצאת הטלת קוביות), ומי שמגיע למספר נקודות מסוים זוכה בפרס שנקבע מראש. אם המשחק הופסק לפני סיומו, איך צריך לחלק את הפרס בין השחקנים?

בעקבות פנייה זו החלה להתנהל תכתובת בין פסקל לבין פייר דה פרמה, ובה עסקו שני המתמטיקאים בבעיות הקשורות למשחקי מזל. בין השאר מצאו פתרון הוגן עבור בעיית הניקוד, כפי שיתואר להלן. התכתובת בין פסקל לפרמה פורסמה רק ב-1679 (לאחרי פרסומו של הויגנס, ראו להלן).

חלק מהבעיות בהן עסקו פרמה ופסקל כבר נפתרו על ידי קרדנו, אך הם לא היו מודעים לכך. באשר למשחקי קובייה, פסקל ופרמה דנו בבעיות כמו מה ההסתברות שיופיע המספר $6$ בארבע זריקות של קובייה אחת, או שיופיע רצף של $6,6$ בשמונה זריקות לכל היותר (כלומר בזריקה אחת, או בשתי זריקות וכן הלאה עד שמונה) של שתי קוביות, וכדומה. במהלך ההתכתבות נעשה שימוש שיטתי בכללי החיבור והמכפלה, כלומר: אם ההסתברות למאורע $A$ היא $p$ וההסתברות למאורע $B$ היא $q$, אזי ההסתברות להתרחשות המאורע $A~{\text{or}}~B$ היא $p+q$ (כלל זה תקף רק כאשר המאורעות $A,B$ זרים), וההסתברות להתרחשות המאורע $A~{\text{and}}~B$ היא $p\cdot q$ (כלל זה תקף רק כאשר המאורעות $A,B$ בלתי-תלויים). כמו כן נעשה שימוש ראשון במכפלה של ההסתברות לזכייה בערך הזכייה - המוכרת כיום כתוחלת, אחד המושגים הבסיסיים בתורת ההסתברות. כן הם עשו שימוש במונח קומבינציה — צירוף בו אין חשיבות לסדר האיברים.

בנוסף התייחסו פרמה ופסקל בהתכתבותם למאורעות שאת היחסים ביניהם ניתן לתאר במונחים מאוחרים יותר כתלות, אולם הם לא הציגו תיאור כללי של תלות ואי-תלות.

פרמה סיפק לראשונה פתרון הוגן לבעיית הניקוד: נניח כי לשחקן $A$ חסרות $a$ נקודות, וכי לשחקן $B$ חסרות $b$ נקודות. במצב זה, המשחק יסתיים אחרי לכל היותר $\ a+b-1$ צעדים, ולכן יש לכל היותר $\ N=2^{a+b-1}$ אפשרויות שונות להמשך המשחק. פתרונו של פרמה הוא כדלקמן: נבנה טבלה את כל התוצאות האפשריות של $a+b-1$ הצעדים הבאים במשחק (נתעלם מכך שהמשחק יכול להיות מוכרע עוד לפני שכולם הסתיימו). נספור את המקרים בהם כל שחקן מנצח ונסמן אותם $\ N_{A},N_{B}$ בהתאמה (אפשר לבצע חישוב בעזרת משולש פסקל). ההסתברויות לניצחון של כל שחקן הן ${\frac {N_{A}}{N}},{\frac {N_{B}}{N}}$, ואת החלוקה ההוגנת קובעים לפי יחס ההסתברויות $N_{A}:N_{B}$.

פסקל שיפר את הפתרון של פרמה (אשר הולך ומסתבך ככל שמספר הנקודות החסרות גדל) על ידי פתרון רקורסיבי לבעיה, דבר שהיווה שימוש ראשון ברקורסיה לפתרון בעיות בהסתברות: נסמן ב-$e(a,b)$ את החלק היחסי מהקופה שצריך לקבל שחקן $A$ במצב שתואר לעיל ($a,b$ מספר הנקודות הדרושות לניצחון עבור כל שחקן). אילו בוצע צעד נוסף במשחק, היו יכולים להיות שני מצבים אפשריים - $e(a-1,b)$ או $e(a,b-1)$, בהסתברות שווה, ולכן צריך לתת להם משקלים שווים, ומכאן ניתן לחשב באופן רקורסיבי:

$e(a,b)={\frac {1}{2}}\cdot \left(e(a-1,b)+e(a,b-1)\right)$

כאשר תנאי העצירה הם: $e(0,b)=1,e(a,0)=0$.

$e(a,b)$ היא למעשה תוחלת הזכייה, ופסקל משתמש בה כאן לראשונה, בלי להגדירה במפורש.

פסקל ופרמה דנו באותה בעיה גם עם שלושה שחקנים. הפתרון הרקורסיבי פעל גם במקרה זה באופן דומה, אך בשיטה של פרמה (מניית האפשרויות) נוצר סיבוך נוסף: מספר התוצאות האפשריות הוא $\ 3^{a+b+c-2}$, אבל יש מקרים בהם שני שחקנים משיגים את מספר הניצחונות הדרוש להם, ואז כדי להחליט למי לייחס את התוצאה יש להתחשב בסדר בו השיגו השחקנים את הניצחונות - ולא ניתן לנצל את משולש פסקל לחישוב מקוצר כמו במקרה של שני שחקנים.

הויגנס

כריסטיאן הויגנס, ממניחי היסודות לתורת ההסתברות הנאיבית.

הצעדים הבאים נעשו על ידי כריסטיאן הויגנס, שפרסם ב-1657 את חיבורו "על חישובים במשחקי מזל". חיבור זה היה הפרסום הפומבי הראשון בענייני הסתברות (ספרו של קרדנו יצא לאור כאמור רק ב-1663). בחיבור זה ישנם כללים שאת כולם הציג הויגנס ברקורסיה, ועל ידי דוגמאות מספריות מסוימות ולא בצורה כללית. חיבורו של הויגנס היווה אבן יסוד בנושא ההסתברות והביא להתעניינות בתחום מצד מתמטיקאים חשובים, כדוגמת יאקוב ברנולי. הוא הקנה לתחום גישה מסודרת ואנליטית, לא מעט גם בגלל השעשוע שבפתרון הבעיות שהוצגו בו.

בנפרד מהבעיות ההסתברותיות בהן דן הויגנס, הוא התייחס לטבלאות חיים — טבלאות בהן מוצגים נתונים על ילודים, מתחילה מגיל אפס ועם השנים חלקם מתים, עד שכולם מסיימים את חייהם. הויגנס התייחס לטבלה כזאת כמין הגרלה בה כל משתתף (ילוד) מגריל כרטיס ובו מספר השנים שנועדו לו, ובכך הציג לראשונה את הקשר העמוק בין סטטיסטיקה לבין תורת ההסתברות.

כמו פרמה ופסקל, גם הויגנס נגע במושג התלות, אך לא הגדיר אותו באופן כללי ומדויק דיו.

הויגנס הציג הכללה של מושג התוחלת, אותה גם הגדיר לראשונה: אם נמצאים במצב בו ישנם שני מאורעות אפשריים, נאמר מאורע $A$ (למשל זכייה בהגרלה) שערכו הוא $a$ (למשל מספר שלם וחיובי של מטבעות), ומספר האפשרויות בהן מתרחש המאורע $A$ הוא $p$, וכמו כן מאורע $B$ (למשל הפסד בהגרלה) שערכו הוא $b$ (למשל מספר שלם ושלילי של מטבעות), ומספר האפשרויות בהן מתרחש המאורע $B$ הוא $q$, אז התוחלת של המצב בו אנו נמצאים היא:

${\frac {p\cdot a+q\cdot b}{p+q}}$

בהמשך דן הויגנס בווריאציות שונות של בעיית הניקוד עם שניים או שלושה שחקנים, וכן בווריאציות שונות של אפשרויות במשחקי קובייה. הכלל האחרון שהוצג בחיבורו, ייחודי בכך שמדובר במשחק בו אין מגבלה לאורכו, ובמסגרתו פיתח הויגנס שיטת אנליזה הקרויה על שמו: שחקן $A$ זוכה אם בהטלת שתי קוביות סכום התוצאות הוא $7$, שחקן $B$, שגם זורק ראשון, צריך להשיג בהטלה של שתי קוביות סכום תוצאות של $6$. הויגנס סימן את ההסתברות ש-$A$ יזכה על ידי $x$, אם תורו של שחקן $B$, והוא סימן אותה ב-$y$, אם תורו של $A$. כעת הוא השתמש בבנייה הבאה כדי למצוא במפורש את $x,y$. תחילה יש לשים לב כי ההסתברות ל-$7$ בזריקה אחת של שתי קוביות היא ${\frac {6}{36}}$, וההסתברות ל-$6$ בזריקה אחת של שתי קוביות היא ${\frac {5}{36}}$. כעת, בניתוח של תור בודד, נניח של שחקן $B$, ההסתברות ששחקן זה יזכה היא ${\frac {5}{36}}$, וההסתברות שלא יזכה היא $1-{\frac {5}{36}}={\frac {31}{36}}$, ואז ההסתברות לניצחון של $A$ היא $y$. אם כך, ההסתברות ש-$A$ יזכה אם כעת תורו של $B$ היא $y\cdot {\frac {31}{36}}=x$. כעת נניח שתורו של $A$ לשחק. ההסתברות שיזכה מיד היא ${\frac {6}{36}}$ וההסתברות שלא יזכה מיד היא $1-{\frac {6}{36}}={\frac {30}{36}}$. ההסתברות ש-$A$ ינצח אם כעת תורו היא לפיכך $x\cdot {\frac {30}{36}}+{\frac {6}{36}}=y$. התקבלו אם כך שתי משוואות בשני הנעלמים $x,y$.

בעיה נוספת שהויגנס מציג דומה לבעיה הקודמת, אלא שבה $B$ זורק ראשון, $A$ זורק פעמיים, $B$ פעמיים וכן הלאה. בעיה אחרת היא משחק בו שלושה שחקנים מוציאים ומחזירים מיד כדור מתוך כד בו יש ארבעה כדורים אדומים ועוד שמונה כדורים כחולים, והמנצח הוא מי שמוציא כדור אדום ראשון. בעיה נוספת היא מצב בו יש 40 קלפים, 10 מכל סוג, וצריך להוציא ארבעה, כל אחד מסוג אחר וללא החזרה של הקלפים.

ברנולי

יאקוב ברנולי, הראשון שכתב חיבור מתמטי על אודות תורת ההסתברות.

המתמטיקאי השווייצרי יאקוב ברנולי כתב ספר רב השפעה בשם "אמנות הניחוש", שפורסם רק ב-1713, כשמונה שנים לאחר מותו. היה זה ספר היסוד המוקדם ביותר לתורת ההסתברות שהיה מוגדר ככזה, וכחיבור מחקרי מתמטי של ממש. לספר היו ארבעה חלקים: הערות מקיפות על ספרו של הויגנס; טיפול יסודי בקומבינטוריקה ובתמורות; משחקי מזל מנקודת מבט מתמטית; ויישומים לכלכלה ולפוליטיקה. חלקו האחרון כלל הוכחה של החוק החלש של המספרים הגדולים עבור משתני ברנולי, שניסח לראשונה באופן מתמטי את הקשר העמוק שבין מושג הממוצע לבין מושג התוחלת.

עמוד השער של ספרו של ברנולי

בחלקו הראשון של הספר סיכם ברנולי את עבודתו של הויגנס, והכליל אותה לכדי נוסחאות (הויגנס נתן פתרונות מספריים, כאמור), וכן סיכם את עבודתו של פסקל. ברנולי הציג תאוריה שלמה של צירופים ותמורות. כמו כן הוא ציין את כלל המכפלה להסתברות של קיום שניים או יותר מאורעות בלתי תלויים, בכמה וריאציות: אם ישנם $n$ מאורעות, ולכל מאורע הסתברות $p$, ההסתברות שיתקיימו כולם היא $\ p^{n}$. במקרה זה ההסתברות לאי-קיום המאורע היא $1-p$, ולכן עבור כל $0\leq m\leq n$, ההסתברות למאורע בו מתקיימים בדיוק $m$ מאורעות ולא מתקיימים בדיוק $n-m$ מאורעות, היא: $\ p^{m}\cdot \left(1-p\right)^{n-m}$, אם נודעת חשיבות לסדר המאורעות. אם אין חשיבות לסדר, יש להכפיל את התוצאה האמורה במספר האפשרויות ללקיחת $m$ איברים מתוך $n$, כלומר ב-${\binom {n}{m}}$.

ברנולי עמד על ההבדל בין מאורעות זרים לבין מאורעות שאינם זרים. מאורעות זרים הם למשל שתי התוצאות האפשריות בהטלת מטבע — עץ או פלי. מאורעות שאינם זרים הם למשל שני נידונים למוות שמקבלים רשות לשחק משחק בו כל אחד מטיל שתי קוביות בתורו, ומי שסכום קוביותיו גבוה יותר ישוחרר, אך אם התוצאה זהה — ישוחררו שניהם. כלומר המאורע שאסיר אחד ישוחרר והמאורע שהאסיר האחר ישוחרר אינם זרים, לכל נידון הסתברות גבוהה יותר מ-50% להשתחרר.

בחלקו השני של הספר הציג ברנולי לראשונה את הקומבינטוריקה בצורה שיטתית. תחילה הוכיח ברנולי באינדוקציה שמספר התמורות של $n$ איברים הוא $n!=1\cdot 2\cdot \dots \cdot n$, ושמספר התמורות של $n$ איברים בהם יש $k_{1}$ איברים מסוג אחד, $k_{2}$ איברים מסוג שני, וכן הלאה, עד $k_{j}$ איברים מסוג $j$, היא ${\frac {n!}{k_{1}!\cdot k_{2}!\cdot \dots \cdot k_{j}!}}$ (נוסחת מרסן). בהמשך הספר, קבע ברנולי את מספר האפשרויות לחלק n איברים לשתי קבוצות בגודל $m,n-m$, כך שמאחת התת-קבוצות לוקחים $a-b$ איברים ומהשנייה לוקחים $b$ איברים, כמכפלה של מספר האפשרויות של תת-קבוצה אחת במספר האפשרויות של תת-הקבוצה האחרת.

ברנולי גם דן במאורעות של "הוצאה עם החזרה". אם ישנם $n$ איברים בכד ומוציאים $m$ מתוכם, כאשר כל איבר יכול להילקח עם כפילויות (כלומר הצירוף של $m$ האיברים יכול לכלול את אותו איבר כמה פעמים. למשל, כד מלא בכדורים בצבעים שונים. כאשר כל כדור מוצא מן הכד, נספר, ומיד אחר מוחזר לכד), אז מספר הקומבינציות הוא ${\frac {\left(n+m-1\right)!}{m!\cdot \left(n-1\right)!}}$, כיוון שכל אחד מ-$m$ האיברים נספר הן כאחד מ-$n$ המקוריים והן כאחד מ-$m$ האיברים שהוצאו. לקיחת $m$ איברים מתוך $n$, אם כן, שקולה להשמת $n-1$ מחיצות ב-$n+m-1$ מיקומים אפשריים, כאשר ישנן $m!$ אפשרויות לסידורם.

כמו כן הראה ברנולי כי מספר הפרמוטציות האפשריות ללקיחת $m$ איברים מתוך $n$ כאשר מאפשרים כפילויות הוא $n^{m}$, וזאת אם ישנה חשיבות לסדר (אחרת, אם אין חשיבות, יש לחלק את הביטוי במספר האפשרויות לסידורים השונים). בהמשך הדגים ברנולי בעזרת טבלאות שיטה אלגוריתמית למציאת מספר הצירופים האפשריים לכל תוצאה במספר קוביות נתון.

כמו פסקל, גם ברנולי חקר את משולש פסקל, וחזר על הוכחות באופן דומה. מחקריו במשולש פסקל הובילו אותו גם למספר תוצאות חשובות בחשבון דיפרנציאלי ואינטגרלי. כן פיתח ברנולי פתרון לבעיית המשחק המופסק עבור משחקים התלויים במיומנות כמו טניס, כלומר בעיה בה ההסתברות לניצחון כל אחד מן הצדדים אינה ${\frac {1}{2}}$. פתרונו לבעיה זו היווה הכללה של נוסחת הרקורסיה של פסקל (ראו לעיל).

בהמשך מצא ברנולי נוסחאות לסכומים של פרמוטציות, קישר בין הנוסחאות בהסתברות לביטויים רב-איבריים ועוד. בכך סיכם ברנולי את תורת ההסתברות הנאיבית, שעסקה במאורעות שווי-הסתברות בהם סכום ההסתברויות שווה ל-1, ושבכל שלב יש מספר סופי של אפשרויות בדידות. כך סוכמה עבודתם של פסקל, פרמה והויגנס.

ברנולי מצא את הנוסחה לבעיית המשחק בעל אורך בלתי מוגבל שהציג הויגנס, ופתר מספר מקרים פרטיים שלה. למשל, אם שני שחקנים $A,B$ משחקים משחק, בו המנצח צריך להשיג תוצאה של $6$ בקובייה בודדת. הזריקות מתבצעות בסדר הבא: בשלב הראשון $A$ זורק פעם אחת ואחריו $B$ זורק פעם אחת, בשלב השני $A$ זורק פעמיים ואחריו $B$ זורק פעמיים, בשלב הבא הם זורקים שלוש פעמים בזה אחר זה, וכן הלאה עד אינסוף. נסמן $q={\frac {5}{6}}$ ונסמן $p=1-q={\frac {1}{6}}$.

ההסתברות שהמשחק יסתיים בשלב הראשון היא ההסתברות ששחקן $A$ ינצח, $p$, ועוד ההסתברות ששחקן $B$ ינצח, $q\cdot p$ (שכן צריך ששחקן $A$ לא ינצח, וזה מתרחש בהסתברות $q$). באופן דומה, ההסתברות שהמשחק יסתיים בשלב השני היא ההסתברות ששחקן $A$ ינצח בשלב השני, $q^{2}\cdot p$, ועוד ההסתברות ששחקן $B$ ינצח $q^{3}\cdot p=q^{2}\cdot q\cdot p$. וכן הלאה, ההסתברות שהמשחק יסתיים בשלב ה-$k$ היא ההסתברות ששחקן $A$ ינצח, $q^{2(k-1)}\cdot p$, ועוד ההסתברות ששחקן $B$ ינצח, $q^{2(k-1)+1}\cdot p$. בסך הכל נקבל כי ההסתברות למאורע שהמשחק יסתיים בשלב כלשהו, היא הטור האינסופי: $\left[p+q\cdot p\right]+q^{2}\cdot \left[p+q\cdot p\right]+q^{4}\cdot \left[p+q\cdot p\right]+\dots$. אם נסמן בקיצור $r:=p+q\cdot p$, נקבל כי ההסתברות שהמשחק יסתיים בשלב כלשהו היא $r\cdot \sum _{k=0}^{\infty }q^{2k}$, והיות ש-$0<q<1$ נובע כי טור זה אכן מתכנס, כפי שנוסח באופן פורמלי שנים רבות לאחר עבודתו של ברנולי. הייתה זו הפעם הראשונה בה בעיה בהסתברות נפתרה באמצעות סכום אינסופי.

המשך התפתחותה של תורת ההסתברות

דה-מואבר

אברהם דה-מואבר, הוגה מושג ה"תלות"

המתמטיקאי הצרפתי אברהם דה-מואבר הרחיב את עבודתם של הויגנס וברנולי, וספרו "תורת הסיכויים: מתודה לחישוב הסתברויות של מאורעות במשחק", הוא הספר השני המשמעותי אודות תורת ההסתברות לאחר ספרו של ברנולי. ספר זה פורסם בארבע מהדורות; הראשונה בלטינית בשנת 1711, ושלוש מהדורות נוספות באנגלית בשנים 1718, 1738 ו-1756. תרומתו הכוללת של דה-מואבר לתורת ההסתברות הייתה כה חשובה, עד שבמאה ה-19 כתב עליו ההיסטוריון של המתמטיקה אייזיק טודהאנטר כי "תורת ההסתברות חייבת את רובה לדה-מואבר, עם יוצא דופן אחד והוא לפלס". אמירה זו כבר אינה תקפה באשר לתורת ההסתברות בימינו אנו, אך שיקפה את מצבה של תורת ההסתברות במאה ה-19.

עמוד השער של ספרו של דה-מואבר

במהדורה משנת 1738 הגדיר דה-מואבר את המושג היסודי של תלות בין מאורעות, וניסח במפורש את התובנה שההסתברות להתרחשות זוג מאורעות תלויים אינה מכפלת ההסתברויות להתרחשות כל אחד מהמאורעות. עם זאת הוא לא כתב במפורש את הנוסחה הידועה $\mathbb {P} \left(A\mid B\right)\cdot \mathbb {P} \left(B\right)=\mathbb {P} \left(A~{\text{and}}~B\right)$.

במהדורות המאוחרות של ספרו כלל דה-מואבר תוצאה שגילה בשנת 1733, לפיה ההתנהגות האסימפטוטית של ההתפלגות הבינומית מקורבת על ידי מה שכונה מאוחר יותר התפלגות נורמלית או התפלגות גאוסיאנית, כלומר גרסה של משפט הגבול המרכזי עבור ההתפלגות הבינומית. דה-מואבר גילה זאת על ידי כך שמצא כי אם מבצעים סדרות גדולות של הטלות מטבע פעמים רבות בזו אחר זו, מספר ה"עצים" שמתקבל על ידי סדרות ההטלות מתואר על ידי גרף הפעמון המפורסם של ההתפלגות הנורמלית. הייתה זו הפעם הראשונה בה שגיאת קירוב תוארה במונחים של התפלגות, ונעשה ניתוח של השגיאה באמצעים הסתברותיים. דה-מואבר עשה צעד נוסף לעבר גילוי ההתפלגות הנורמלית, בכך שפרסם ניתוח סטטיסטי של טבלאות של התפלגות התמותה של בני אדם לפי גיל, ששימשו ליישומים אקטואריים. יש שייחסו לפיכך לדה-מואבר את גילוי ההתפלגות הנורמלית, אך עם זאת ברור כי דה-מואבר לא הבין את חשיבותה של ההתפלגות הנורמלית כשלעצמה וגם לא ידע כיצד לתאר אותה במונחים של פונקציית צפיפות, אלא ראה בה רק קירוב אסימפטוטי של ההתפלגות הבינומית.

דה-מואבר הכליל את נוסחת הבינום של אייזק ניוטון, והציג את נוסחת המולטינום. כמו כן בשנת 1733 גילה דה-מואבר נוסחה לחישוב מקורב של פונקציית העצרת, דבר ששימש רבות בחישובים הסתברותיים. הקירוב שהציג דה-מואבר היה $n!\approx c\cdot n^{n+1/2}\cdot e^{-n}$ כאשר $c$ היה קבוע שדה-מואבר ידע רק לקרב. מאוחר יותר גילה ג'יימס סטירלינג כי $c={\sqrt {2\pi }}$, ומכאן השם "נוסחת סטירלינג".

הישג מוקדם נוסף של דה-מואבר היו כמה תוצאות אודות התפלגות פואסון, עד שהיו שטענו שההתפלגות צריכה לשאת את שמו של דה-מואבר. עם זאת המתמטיקאי הצרפתי סימאון דני פואסון הוא זה שפרסם לראשונה תיאור מלא של ההתפלגות, בשנת 1837 בספרו "מחקר על תורת ההסתברות של פסקי-דין פליליים ואזרחיים". בספרו זה תיאר פואסון באופן מלא את התפלגות פואסון, המתארת את ההסתברות למאורעות נדירים ובלתי-תלויים המתרחשים בממוצע בקצב קבוע. פואסון השתמש בהתפלגות זו כדי לתאר את "תהליך פואסון", שהוא תהליך מקרי בו התפלגות מספר המאורעות בפרק זמן נתון היא התפלגות פואסון. בנוסף, פואסון פרסם בספרו זה גרסה של החוק החלש של המספרים הגדולים.

גאוס

קרל פרידריך גאוס, הראשון שתיאר את ההתפלגות הנורמלית

בשנת 1807 פרסם המתמטיקאי הגרמני קרל פרידריך גאוס את ספרו "תאוריית התנועה של גופים שמימיים בחתכים חרוטיים סביב השמש", ובו תיאר לראשונה באופן מלא את ההתפלגות הנורמלית. גאוס בספרו תיאר את שיטת הריבועים הפחותים ואת שיטת אמידת נראות מרבית, שתיהן שיטות יסודיות ביותר המשמשת רבות בסטטיסטיקה, ועשה בהן שימוש על מנת לנתח נתוני מדידות אסטרונומיות שלעיתים סתרו זו את זו.

כדי לאמוד את השגיאה של המדידות, גאוס בחר להניח כי הממוצע החשבוני הוא הערך שממזער את שגיאת המדידה. כלומר, המדידה שמרחקה מן הממוצע החשבוני הוא המזערי, היא בהסתברות גבוהה הקרובה ביותר לערכים האמיתיים. תחת הנחה זו הוא חישב ומצא כי ההתפלגות הנורמלית מתארת את שגיאת המדידה, וסיפק נוסחה של ההתפלגות הנורמלית הסטנדרטית.

לפלס

פייר-סימון לפלס, תרם רבות לחקר ההתפלגות הנורמלית, וליסודות משפט הגבול המרכזי

בשנת 1812 פרסם המתמטיקאי הצרפתי פייר-סימון לפלס את ספרו "התאוריה האנליטית של ההסתברות", שנכתב בעיקר כדי לבסס את "תורת השגיאות" — התפלגות שגיאות המדידה אותה חקר גאוס. אף על פי שגאוס תיאר לראשונה את התפלגות שגיאות המדידה כהתפלגות נורמלית, הוא לא סיפק תיאור מלא של התפלגות זו. לפלס היה זה שחישב לראשונה את הנוסחה המלאה לפונקציית ההתפלגות המצטברת של ההתפלגות הנורמלית, על ידי חישוב האינטגרל $\int e^{-t^{2}}dt={\sqrt {\pi }}$ שסיפק את הקבוע החשוב של ההתפלגות הנורמלית. בבואו לחקור את התפלגות השגיאות, גישתו של לפלס הייתה הפוכה מזו של גאוס, בייסיאנית במהותה: לפלס בחר להניח כי לשגיאות המדידה ישנה התפלגות משותפת מסוימת, התפלגות אפריורית, וטען כי גם כאשר התפלגות זו אינה ההתפלגות הנורמלית — היא בכל אופן מתכנסת להתפלגות הנורמלית, כפי שקובע משפט הגבול המרכזי. לפלס לא סיפק ניסוח מלא והוכחה של משפט הגבול המרכזי, אך הוא הציג גרסה ראשונה שלו עבור התפלגות בינומית, כפי שכבר חזה דה-מואבר, ובשנים 1810–1811 הוא פיתח את התורה של פונקציות אופייניות שסיפקה הוכחה לגרסה זו. בכך תרם לפלס לביסוס חשיבותה התאורטית העליונה של ההתפלגות הנורמלית.

בשנת 1814 לפלס אף ניסה לתאר באופן אקסיומטי את תורת ההסתברות, כפי שיפורט בפרק על הנושא, אולם היה זה ניסיון בוסרי שלא היה פורמלי דיו במונחים מודרניים.

הערכות מוקדמות העניקו ללפלס מקום של כבוד, וכך במאה ה-19 כתב ההיסטוריון של המתמטיקה אייזיק טודהאנטר כי "תורת ההסתברות חייבת את רובה לדה-מואבר, עם יוצא דופן אחד והוא לפלס". הסטטיסטיקאי הנודע רונלד פישר טען כי השקפותיו של לפלס על הסתברות היו ברובן "שטויות חסרות בסיס", מתוך עמדה המתנגדת לסטטיסטיקה בייסיאנית. אולם מנגד — ואולי אף מבלי לסתור זאת — חוקרים חשובים אחרים תיארו את עבודותיו המוקדמות של לפלס כחשובות כל-כך, עד כי הסטטיסטיקה המודרנית היא "סדרת הערות שוליים ללפלס".

צ'בישב

פפנוטי צ'בישב, הראשון שסיפק הוכחה לחוק המספרים הגדולים

בחלקה השני של המאה ה-19 חלה התפתחות עצומה בחקר תורת ההסתברות, בעיקר ברוסיה. התפתחות זו תרמה לגיבושו הפורמלי של חוק המספרים הגדולים על שלל גרסאותיו, ועד לגולת הכותרת של תורת ההסתברות אז — הוכחת משפט הגבול המרכזי. התפתחות זו השפיעה רבות על המחקר בתורת ההסתברות במאה ה-20.

בשנת 1863 ניסח המתמטיקאי הצרפתי אירנה-ז'ול ביינאמה (בְּיָאנְאֶמֶה) (Irénée-Jules Bienaymé) לראשונה את מה שמכונה היום אי-שוויון צ'בישב, לפיו עבור משתנה מקרי $X$ בעל שונות $0<\sigma <\infty$ ובעל תוחלת סופית, לכל $C>0$ מתקיים כי ההסתברות למאורע $\left\{\left|X\right|>C\right\}$ חסומה מלעיל על ידי ${\frac {\mathbf {E} \left[X^{2}\right]}{C^{2}}}$. תוצאה זו מהווה תוצאה בעל חשיבות יסודית, והיא נקראת לעיתים גם על שמו של ביינאמה.

בשנת 1867 סיפק המתמטיקאי הרוסי פפנוטי צ'בישב הוכחה לאי-שוויון זה, ועל בסיסו הוא הצליח להוכיח את החוק החלש של המספרים הגדולים בגרסתו עבור סדרת משתנים מקריים בלתי-תלויים בעלי שונות סופית, החסומה במידה שווה.

עשרים שנה לאחר מכן, פרסם צ'בישב מאמר בשם "על אודות שני משפטים בנוגע להסתברות", שהיווה צעד ראשון בדרך להוכחת משפט הגבול המרכזי. לצ'בישב היו תוצאות חשובות נוספות בתורת ההסתברות, כדוגמת חקירתה של פונקציית בטא החשובה להתפלגות בטא, ולעבודתו הפורמלית נודעה חשיבות בפיתוחה של תורת ההסתברות. כך למשל כתב אודותיו אנדריי קולמוגורוב, כי ”העיקרון המרכזי בעבודתו של צ'בישב התמקד בכך שהוא ניסה להעריך במדויק את תקפותם של אי-שוויונים תחת בדיקות רבות על מנת לאמוד את השגיאה מהחסם. יתרה מזאת, צ'בישב היה הראשון שהגדיר במדויק והשתמש ברעיונות יסוד כמו "אי-שוויון מקרי" וה"תוחלת" שלו.”

ליאפונוב

אלכסנדר ליאפונוב, הראשון שהוכיח גרסה מלאה של משפט הגבול המרכזי.

בשנת 1901 סיפק המתמטיקאי הרוסי אלכסנדר ליאפונוב, תלמידו של צ'בישב ועמיתו של מרקוב, נוסח כללי של משפט הגבול המרכזי, והוכיח אותו באמצעות פונקציות אופייניות. אמנם גרסה ראשונית של משפט הגבול המרכזי עבור ההתפלגות הבינומית כבר ניסח דה-מואבר, ולפלס הוכיח אותה באמצעות פונקציות אופייניות, אך עם זאת תוצאה זו נשכחה וחשיבותה לא הובנה עד לעבודתו של ליאפונוב, שסיפק נוסח כללי למשפט יסודי זה. הנוסח של ליאפונוב עסק בסדרה $\left\{X_{i}\right\}_{i=1}^{\infty }$ של משתנים מקריים בלתי-תלויים, שלמשתנה המקרי $X_{i}$ תוחלת סופית $\mu _{i}$ ושונות $\sigma _{i}^{2}$, והם מקיימים את מה שמכונה תנאי ליאפונוב: כלומר, נסמן $s_{n}^{2}=\sum _{i=1}^{n}\sigma _{i}^{2}$, וקיים איזשהו $\delta >0$ שעבורו קיים הגבול הבא:

$\lim _{n\to \infty }{\frac {1}{s_{n}^{2+\delta }}}\sum _{i=1}^{n}\operatorname {E} {\big [}\,|X_{i}-\mu _{i}|^{2+\delta }\,{\big ]}=0$

בתנאי זה, קובע משפט הגבול המרכזי בגרסת ליאפונוב, מתקיימת ההתכנסות בהתפלגות הבאה:

${\frac {1}{s_{n}}}\sum _{i=1}^{n}(X_{i}-\mu _{i})\ {\xrightarrow {d}}\ {\mathcal {N}}(0,\;1)$

למרות חשיבותו העליונה של משפט הגבול המרכזי, שאר עבודתו המתמטית של ליאפונוב התמקדה בפיזיקה מתמטית ופחות בתורת ההסתברות. גרסאות נוספות של משפט הגבול המרכזי סיפקו בהמשך המתמטיקאי הפיני יַארְל וַלְדֵמַר לִינְדֵבֶּרְג והמתמטיקאי הצרפתי פול לוי. כמו כן הושגה גם הכללה של המשפט למשתנים מקריים רב-ממדיים, שם ההתכנסות היא להתפלגות רב-נורמלית.

התפתחות במאה ה-20

מרקוב

אנדריי מרקוב, מהמייסדים הראשונים של חקר תהליכים סטוכסטיים.

פיתוחה של תורת ההסתברות במהלך המאה ה-20 התרחש בעקבות דחיפה עצומה שחלה במחקר בחלקה השני של המאה ה-19. כך בשנת 1907 הצליח המתמטיקאי הרוסי אנדריי מרקוב להכליל את התוצאה של צ'בישב מ-1867, ולקבוע כי חוק המספרים הגדולים תקף גם במקרה בו השונות אינה סופית, תחת תנאי חלש יותר לפיו $\mathbf {E} \left[X_{i}-\mathbf {E} \left[X_{i}\right]\right]^{1+\delta }<L$ לאיזה $\delta >0$ עבור קבוע $L>0$. הוא עשה זאת באמצעות פיתוח התורה של שרשראות מרקוב, ועבודתו הכללית על הוכחת חוק המספרים הגדולים היא אבן יסוד בתורה של תהליכים מקריים, שתרמה רבות גם לתורה הארגודית. בשנת 1929 הכליל המתמטיקאי הרוסי אלכסנדר חינצ'ין את התוצאה של צ'בישב בכיוון אחר, והראה כי חוק המספרים הגדולים בגרסתו החלשה תקף בכל מקרה בו התוחלת סופית, בתנאי שהמשתנים המקריים הם גם שווי-התפלגות.

קולמוגורוב ועמיתיו

המתמטיקאי הרוסי אנדריי קולמוגורוב תרם רבות לכלים היסודיים ביותר בחקר תורת ההסתברות. תרומתו הבסיסית ביותר היא ביסוס המערכת האקסיומטית של תורת ההסתברות (ראו להלן), אך גם משפטים יסודיים ביותר המשמשים בתורה זו הם פרי עבודתו, כדוגמת אי-שוויון קולמוגורוב, חוק האפס-אחד של קולמוגורוב, משפט שני הטורים ומשפט שלושת הטורים. עוד היו לו תרומות כלליות אותן ניתן להחשיבן כחלק מתורת המידה, כדוגמת משפט האן-קולמוגורוב. לקולמוגורוב תרומה גם לתורה של תהליכים סטוכסטיים, כדוגמת משפט ההרחבה ומשפט הרציפות, שני משפטים שיחדיו מספקים את אחת הדרכים לבנות תנועה בראונית.

בסוף שנות ה-30 הקימו מספר מתמטיקאים חשובים מאוניברסיטת מוסקבה, בהם ישראל גלפנד, אלכסנדר חינצ'ין ופאבל אלכסנדרוב, קבוצת מחקר להסתברות ולסטטיסטיקה במכון סטקלוב למתמטיקה של האקדמיה הרוסית למדעים. בראש קבוצת מחקר זו הועמד קולמוגורוב. במסגרת זו נחקרו תופעות פיזיקליות כדוגמת תנועתם של כוכבי לכת וזרימה טורבולנטית של אוויר ממנוע סילון, ובשנת 1941 פורסמו שני מאמרים יסודיים בנושאים אלה, המטפלים בהם מנקודת מבט הסתברותית של מערכות דינמיות. מחקר זה יצר השפעה עמוקה של תורת ההסתברות על תחום הפיזיקה.

השפעה זו המשיכה בשנות ה-50, אז פורסמו עבודות של קולמוגורוב המטפלות גם במכניקה המילטוניאנית מנקודת מבט של מערכות דינמיות, שבהמשך התפתחו לכדי תורת "KAM" הקרויה על שם קולמוגורוב-ארנולד-מוזר.

תורת התהליכים המקריים

ערך מורחב – תהליך מקרי

עבודותיהם של מרקוב וקולמוגורוב על התורה של תהליכים מקריים פתחה ענף חדש בתורת ההסתברות. בהמשך לעבודות אלה, תרומה חשובה לתורת ההסתברות פורסמה על ידי המתמטיקאי ההונגרי ג'ורג' פוליה. פוליה הראה בשנת 1921 תוצאה מפתיעה לגבי הילוך מקרי פשוט על הסריג $\mathbb {Z} ^{d}$, לפיה ההילוך נשנה (היינו, יש הסתברות 1 לחזור לנקודת המקור) אם $d=1$ או $d=2$, וחולף (היינו, יש הסתברות שאינה 1 לחזור לנקודת המקור) עבור כל $d$ שלם חיובי אחר. כלומר, אם מתחילים בנקודה אקראית על הסריג $\mathbb {Z} ^{d}$ ומבצעים בכל שלב צעד אחד בכיוון כלשהו בהתפלגות אחידה, אז בהסתברות $1$ נחזור לנקודת ההתחלה אינסוף פעמים אם ורק אם $d=1$ או $d=2$. תרומה נוספת של פוליה הייתה בתחום של פונקציות אופייניות, שם הראה את הקשר לתורה של התמרת פורייה של מידות הסתברות.

התהליך המקרי הרציף המכונה תנועה בראונית היה מפורסם עוד מראשית המאה ה-19. ב"שנת הפלאות" של הפיזיקאי זוכה פרס נובל אלברט איינשטיין, באחד מארבעת מאמריו הנודעים עשה איינשטיין שימוש בתנועה בראונית במחקרו על מכניקה סטטיסטית, במקביל לעבודתו של הפיזיקאי הפולני מריאן סמולוכובסקי . בהמשך לעבודות אלה, הפיזיקאי הצרפתי ז'אן-בטיסט פרן, גם הוא זוכה פרס נובל, עשה שימוש בתנועה בראונית כדי לחשב את מספר אבוגדרו. השלכות אלה על תחום הפיזיקה חיזקו את העניין המתמטי בתנועה בראונית שבתקופה זו טרם הייתה מוגדרת במסגרת אקסיומטית מוצקה, ובשנת 1923 סיפק המתמטיקאי האמריקאי נורברט וינר ביסוס מתמטי למושג מורכב זה, עד שבהקשר של תורת התהליכים המקריים תהליך זה מכונה "תהליך וינר". לפי תיאור זה, משפחה של משתנים מקריים $\left\{W_{t}\right\}_{t\in \mathbb {R} _{+}}$ היא "תהליך וינר", אם היא מקיימת את כל התנאים הבאים:

1. $W_{0}=0$ כמעט תמיד.
2. עבור כל $u>0$, ‏$W_{t+u}-W_{t}$ הוא משתנה מקרי בלתי-תלוי ב-$\left\{W_{s}\right\}_{s\in \left[0,t\right]}$.
3. עבור כל $u>0$, ‏$W_{t+u}-W_{t}$ הוא משתנה מקרי בעל התפלגות נורמלית מהצורה $N\left(0,u\right)$.
4. $\left\{W_{t}\right\}_{t\in \mathbb {R} _{+}}$ רציף במשתנה $t$ בהסתברות $1$.

ההוכחה שאכן קיימת סדרה משתנים מקריים שהיא תהליך וינר לא הייתה מובנת מאליה בזמנו.

פול לוי, ממניחי היסודות לתורת התהליכים המקריים

בהמשך המאה ה-20 בלט המחקר בתורה של תהליכים מקריים. לפיתוח תחום זה תרם רבות המתמטיקאי הצרפתי פול לוי, בפרט לתורה של תהליכים אדיטיביים, והספר החשוב הראשון בתורה זו הוא ספרו משנת 1948, "תהליכים סטוכסטיים ותנועה בראונית". תורם מרכזי נוסף לתורה של תהליכים מקריים היה המתמטיקאי האמריקאי ג'וזף דוב, שפיתח בשנות ה-50 את יסודות התורה של מרטינגלים. תורה זו עסקה בהילוכים מקריים המתארים משחק הוגן, בהם התוחלת של הרווח בכל שלב נקבעת על ידי השלב הקודם. התפתחות מושג התנועה הבראונית קודם לכן הולידה גם את חקר המרטינגלים בזמן רציף, וכך למשל אחת מתרומותיו הבולטות של קודמו של דוב, לוי, היה מה שכונה "קריטריון לוי", לפיו משפחת משתנים מקריים $\left\{W_{t}\right\}_{t\in \mathbb {R} _{+}}$ היא תהליך וינר אם ורק אם היא מרטינגל רציף כמעט תמיד עם התנאי $W_{0}=0$, המקיים כי $\left\{W_{t}^{2}-t\right\}_{t\in \mathbb {R} _{+}}$ גם הוא מרטינגל. עבודתו של לוי עסקה גם בתורה של חוקי גבול כלליים יותר, וכך למשל אחת הגרסאות הנודעות של משפט הגבול המרכזי פותחה על ידי לוי.

בשנות ה-50 פיתח המתמטיקאי היפני קיושי איטו את האנליזה הסטוכסטית, תוך שימוש בתנועה בראונית. תחום זה איפשר לבצע חשבון דיפרנציאלי ואינטגרלי עבור תהליכים מקריים, ולפיכך גם פתרון משוואות דיפרנציאליות סטוכסטיות. לתחום זה יישומים חשובים בעיקר במתמטיקה פיננסית, למשל במודל בלק-שולס.

הביסוס האקסיומטי והמושָׂגִי של תורת ההסתברות

אקסיומות לפלס

בשנת 1814 פרסם לפלס את חיבורו "מסה פילוסופית על ההסתברות", ובחיבור זה הציג לפלס לראשונה ניסיון להגדיר באופן מתמטי מהי הסתברות. עקרונות אלה של לפלס היו ניסיון ראשון לתאר את תורת ההסתברות בצורה אקסיומטית, אך הם לא היו מספיק חמורים במונחים מודרניים.

ספרו של לפלס נפתח בסדרת העקרונות הבאים:

1. הסתברות היא היחס בין מאורע המטרה לבין ההסתברות של כל המאורעות האפשריים.
2. הנחת היסוד הראשונה היא שיש הסתברות שווה לכל המאורעות. כאשר זה לא מתקיים, עלינו להגדיר הסתברויות לכל המאורעות, ואז ההסתברות של כל המאורעות האפשריים היא סכום ההסתברויות של כל המאורעות.
3. עבור מאורעות בלתי-תלויים, ההסתברות של התרחשות של כולם היא מכפלת ההסתברויות של כולם.
4. עבור מאורעות תלויים, ההסתברות שמאורע $B$ יתרחש לאחר המאורע $A$, היא ההסתברות שיתרחש מאורע $A$ כפול ההסתברות שיתרחש המאורע $A~{\text{and}}~B$.
5. ההסתברות שיתרחש מאורע $A$ בהינתן שהתרחש מאורע $B$, היא ההסתברות שיתרחש המאורע $A~{\text{and}}~B$ לחלק להסתברות שיתרחש המאורע $B$.
6. אם $A_{i}$ הוא מאורע אחד מתוך המאורעות $A_{1},A_{2},...,A_{n}$, והוא ממצה את רשימת כל האפשרויות שיתרחש מאורע $B$, וגם ההסתברות להתרחשות המאורע $B$ שווה להסתברות להתרחשות המאורעות $A_{1},A_{2},...,A_{n}$, אז מתקיימת הנוסחה:

$\Pr(A_{i}\mid B)=\Pr(A_{i}){\frac {\Pr(B\mid A_{i})}{\sum _{j}\Pr(A_{j})\Pr(B\mid A_{j})}}$

עקרון שביעי שמופיע בספרו של לפלס הוא "כלל העקיבה", הקובע כך: אם בניסוי כלשהו יש רק שתי תוצאות אפשריות המסומנות ב-$s$ וב-$f$, תחת ההנחה כי לא ידוע דבר אפריורי על ההסתברויות של תוצאות אלה, אז ההסתברות ל-$s$ בצעד הבא (הצעד ה-n+1) היא ${\frac {s(n)+1}{n+2}}$, כאשר $s(n)$ היא מספר ה-$s$-ים שהופיעו עד הצעד ה-$n$.

ניסיונות מוקדמים

הצורך בגיבוש בסיס אקסיומטי מוצק לתורת ההסתברות גבר בסוף המאה ה-19. כך בשנת 1889 פרסם המתמטיקאי הצרפתי ז'וזף ברטראן, בספרו "חשבון ההסתברות", את הפרדוקס שמאוחר יותר קיבל את שמו "הפרדוקס של ברטראן". הפרדוקס עסק בשאלה הבאה: ”בהינתן מעגל במישור ומשולש שווה-צלעות החסום בו, מהי ההסתברות שמיתר אקראי יהיה ארוך יותר מצלעו של המשולש?” ברטרנד תיאר כמה צורות שונות לחשב הסתברות זאת, והגיע לתוצאות שונות. הפתרון לפרדוקס נבע מכך שמרחב ההסתברות בפרדוקס אינו מוגדר היטב, היות שלא ברור האם מה ש"אקראי" הוא נקודות הקצה של המיתר, נקודת האמצע שלו או הרדיוס. כוונתו של ברטאן הייתה לערער על האפשרות להעמיד את תורת ההסתברות על יסודות אקסיומטיים, מתוך תפיסה שרכיב האקראיות סותר את העקרונות המדעיים המקובלים, וכך הוא כתב בספרו זה: ”כיצד נעז לדבר על אודות חוקי ההסתברות? האם "הסתברות" אינה האנטיתזה לכל חוק?!” למרות כוונתו של ברטראן, הפרדוקס שהציג השפיע על הבנת הצורך בהגדרה מדויקת של ההתפלגות האחידה, וממנה על הבנת החשיבות של בניית מערכת אקסיומות עקבית לתורת ההסתברות.

ניסיון לטפל בצורה אקסיומטית בתורת ההסתברות בוצע בעשור השני של המאה ה-20 על ידי המתמטיקאי האיטלקי פרנצ'סקו פאולו קנטלי. קנטלי יצר מסגרת אקסיומטית כדי לטפל בחוקי גבול, אך המסגרת שהציע הייתה חלקית בלבד ולא טיפלה במושגים יסודיים כמו משתנה מקרי. עם זאת היא הייתה טובה דיה כדי להוכיח תוצאות עקרוניות, וכך למשל אחת התוצאות היסודיות בתורה של חוקי גבול העוסקת בהתכנסות בהסתברות היא הלמה של בורל-קנטלי.

ניסיון נוסף לתאר אקסיומטית את תורת ההסתברות נעשה על ידי ריכרד פון מיזס בשנת 1919. ניסיון זה לא צלח, אך קולמוגורוב העיד כי הוא שאב מניסיון זה השראה. באותה השנה, המתמטיקאי הצרפתי פול לוי מסר שלוש הרצאות מפורסמות באקול פוליטקניק על אודות המושגים היסודיים של תורת ההסתברות, וכן על התפלגות השגיאות לפי עבודתו של גאוס. לעבודתו של לוי הייתה תרומה גדולה לגיבוש תורת ההסתברות לכדי תורה מתמטית, בפרט בספרו "תורת החשבון של הסתברות", שפורסם בשנת 1925.

השפעת תורת המידה

אמיל בורל, הראשון שהבין את הקשר בין תורת ההסתברות לבין תורת המידה.

בסוף המאה ה-19 התפתחה תורת המידה — תורה מתמטית שנועדה לטפל במושגים כמו אורך, שטח ונפח, מנקודת מבט גאומטרית. אחד ממניחי היסודות של תורה זו, המתמטיקאי הצרפתי אמיל בורל, הציע עוד בסוף המאה ה-19 לבחון את תורת ההסתברות מנקודת מבט זו של תורת המידה, אם כי הוא לא טיפל במקרה הכללי של מרחב הסתברות אלא במרחב הסתברות של קטע ממשי. הסתכלות זאת התבררה כמוצלחת במיוחד, ובהמשך הפכה לגישה השלטת בתורת ההסתברות. בראשית שנות ה-20 של המאה ה-20, הרחיב המתמטיקאי האמריקאי נורברט וינר גישה זו, והגדיר מידה על מרחב המסילות הרציפות על-מנת לתאר את תנועתם של חלקיקים הצפים בנוזל, מה שמכונה כיום תנועה בראונית. גישה זו סיפקה פרספקטיבה חדשה לחלוטין הן על תורת המידה הן על תורת ההסתברות; מעתה תורת המידה הכללית לא טיפלה רק בגודל של קבוצות במובן הגאומטרי, אלא אפשרה מדידה של קבוצות במגוון הקשרים — כדוגמת הסתברות של מאורע. לפי גישה זו, מאורע הוא תת-קבוצה של מרחב המדגם, והסתברותו של המאורע היא מידת הגודל היחסי של תת-קבוצה זו. פרספקטיבה זו הפכה למסגרת האקסיומטית המקובלת עד ימינו, כפי שהתגבשה על ידי קולמוגורוב.

עוד קודם לקולמוגורוב, בשנת 1923, סיפק המתמטיקאי הפולני הוגו שטיינהאוס לראשונה תיאור פורמלי של מרחב ההסתברות של הטלות מטבע, שהושפע מתיאורו המוקדם של בורל. בנוסף, שטיינהאוס גם היה הראשון שסיפק תיאור פורמלי של ההתפלגות האחידה הרציפה, וכן למושג התלות בין שני משתנים מקריים.

אקסיומות קולמוגורוב

אנדריי קולמוגורוב, מניח היסודות האקסיומטיים של תורת ההסתברות.

ביסוס אקסיומטי סופי לתורת ההסתברות ניתן בשנת 1933 על ידי המתמטיקאי הרוסי אנדריי קולמוגורוב, בספרו "יסודות תורת ההסתברות". ספר זה מהווה ציון דרך בתולדות תורת ההסתברות, והוא נחשב לספר החשוב ביותר בהתפתחותה. האקסיומות שהציג קולמוגורוב מכונות "אקסיומות קולמוגורוב" או "אקסיומות ההסתברות", והן מהוות תיאור כללי למרחב הסתברות עד ימינו — תיאור המעמיד את תורת ההסתברות בהקשר של תורת המידה, בהמשך לעבודתו פורצת הדרך של בורל. המתמטיקאי הצרפתי מוריס פרוכטה, בנאומו בסמינר הבינלאומי של אוניברסיטת ז'נבה בשנת 1937, תיאר את עבודתם של בורל וקולמוגורוב לגיבוש אקסיומות תורת ההסתברות:

היה זה הרגע בו מר בורל הציג את המושג החדש של אדיטיביות בהקשר של תורת ההסתברות בשנת 1909, בו ניתן לומר שכל האלמנטים שנדרשו לנסח במפורש יחד את כל מסד האקסיומות של תורת ההסתברות (הקלאסית-מודרנית) הובנו יחד.
אין זה מספיק לדעת את כל הרעיונות, ולזכור אותם אז ועכשיו; על מישהו לוודא כי הן ממצות ומספיקות, לנסח אותם יחד במפורש, ולקחת את האחריות לומר שלא נדרשות יותר אקסיומות כדי לבנות את התאוריה. זה מה שמר קולמוגורוב עשה. זהו ההישג שלו.

— מופיע בתוך: Glenn Shafer, The origins and legacy of Kolmogorov’s Grundbegriffe, Introduction, page 1

בנוסף לאקסיומות, קולמוגורוב סיפק בספרו הגדרות פורמליות למונחים החשובים והיסודיים ביותר של תורת ההסתברות: סיגמא-אלגברת בורל, תלות והסתברות מותנית, משתנה מקרי, תוחלת ותוחלת מותנית.

קולמוגורוב מציג תחילה תיאור כללי של אקסיומות מרחב הסתברות בעל אוסף מאורעות סופי, באופן הבא:

תהי $E$ אוסף של אלמנטים $\xi ,\eta ,\zeta ,\dots$, להם נקרא מאורעות בסיסיים, ותהי ${\mathfrak {F}}$ קבוצה של תת-קבוצות של $E$; האיברים של הקבוצה ${\mathfrak {F}}$ יכונו מאורעות מקריים.

1. ${\mathfrak {F}}$ היא שדה של קבוצות.
2. ${\mathfrak {F}}$ מכילה את הקבוצה $E$.
3. לכל קבוצה $A$ ב-${\mathfrak {F}}$, מתאים מספר ממשי אי-שלילי ${\mathtt {P}}\left(A\right)$. מספר זה נקרא ההסתברות של המאורע $A$.
4. ${\mathtt {P}}\left(E\right)$ שווה ל-$1$.
5. אם ל-$A$ ול-$B$ אין איברים משותפים, אז ${\mathtt {P}}\left(A+B\right)={\mathtt {P}}\left(A\right)+{\mathtt {P}}\left(B\right)$.

מערכת של קבוצות, ${\mathfrak {F}}$, בצירוף הגדרה של מספרים ${\mathtt {P}}\left(A\right)$, המקיימת את אקסיומות 1–5, נקראת שדה הסתברות.

— Elementary Theory of Probability, פרק 1: Axioms.

בהמשך ספרו קולמוגורוב מציג מערכת אקסיומות מוכללת עבור מרחב הסתברות בעל מספר מאורעות אינסופי, שהיא הבסיס של ראיית תורת ההסתברות בתוך ההקשר הרחב יותר של תורת המידה. במערכת זו, ${\mathfrak {F}}$ היא סיגמא-אלגברה, כלומר סגורה גם לאיחוד בן-מניה, וכן אקסיומה 5 מוחלפת באקסיומה המתאימה עבור איחוד בן-מניה. כלומר, מתקיים עבור מאורעות $A_{1},A_{2},A_{3},\dots$ זרים בזוגות, כי:

${\mathtt {P}}\left(A_{1}\cup A_{2}\cup A_{3}\cup \dots \right)={\mathtt {P}}\left(A_{1}\right)+{\mathtt {P}}\left(A_{2}\right)+{\mathtt {P}}\left(A_{3}\right)+\dots$

אקסיומות קוקס

תיאור פורמלי אחר לתורת ההסתברות ניתן בשנת 1946 על ידי הפיזיקאי האמריקאי ריצ'רד קוקס. המשפט של קוקס קבע כי ניתן לקבל מרחב הסתברות במובן של אקסיומות קולמוגורוב, מתוך כל מערכת המקיימת את שלוש הדרישות הבאות:

1. התחלקות והשוואתיות — ההסתברות של קביעה היא מספר ממשי התלוי במידע המיוחס לקביעה עצמה.
2. שכל ישר — ההסתברויות המיוחסות לקביעות משתנות בהתאם לסבירות של הקביעה במודל.
3. עקביות — אם ניתן לחשב את ההסתברויות בצורות שונות, כל התוצאות צריכות להיות שוות.

כפי שניכר מתיאור זה, הדרישות שתיאר קוקס לא היו פורמליות דיין מבחינה מתמטית, אולם בהמשך נעשו עבודות שאפשרו להפוך אותן לפורמליות.

תיאור זה זניח יותר ומשמש פחות במחקר, אך עם זאת משפט קוקס נתפס כאחד הצידוקים הפורמליים לשימוש בהסתברות בייסיאנית, לפיו מרחב הסתברות מתפרש כתורה לוגית. ישנם דיונים שונים בנוגע למשמעות הפילוסופית של גישה אקסיומטית שונה זו.

השפעות על התפתחות ענפי מדע אחרים

להתפתחותה של תורת ההסתברות נודעה חשיבות רבה בתחומי מדע רבים; הן באופן ישיר הן באמצעות השפעתה על התפתחותה של הסטטיסטיקה. באופן כללי, תורת ההסתברות אפשרה לבצע פעולה יסודית ביותר בכל תחומי המדע: כימות של גדלים לא ידועים. לפעולה זו שימוש בכל תחומי המדע כולם ולכל סוגי הגדלים: הן גדלים נצפים, הן גדלים חישוביים והן גדלים תאורטיים.

סטטיסטיקה ומתמטיקה סטטיסטית

ערכים מורחבים – סטטיסטיקה, היסטוריה של הסטטיסטיקה

שימוש נאיבי בסטטיסטיקה ידוע עוד אפילו מהמאה ה-9, אולם הסטטיסטיקה החלה את התפתחותה הפורמלית במהלך המאה ה-18, והשתכללה לכדי תורה פורמלית ומבוססת מבחינה מתמטית רק על בסיסה של תורת ההסתברות, כפי שתיאר המתמטיקאי הצרפתי אמיל בורל: ”...אנו יכולים לנסח מהי בעיה כללית במתמטיקה סטטיסטית באופן הבא: הגדר מערכת של דגימות מתוך מצבור בעל ערבוב קבוע, כך שהתוצאה של סדרת דגימות, המתפרשת בעזרת קבועים הנבחרים לצורך הפשטות, מובילה בהסתברות (ההדגשה אינה במקור) מאוד טובה לטבלה זהה לטבלה של התצפיות.”

בראשית המאה ה-18, אברהם דה-מואבר פרסם ספר בשם "קצבאות לנפשות", ובו ניתוח של טבלאות תמותה וחישובים כיצד לחלק קצבאות מחיה, ענף של הסטטיסטיקה המכונה כיום אקטואריה. בהמשך אותה מאה, לפלס היה הראשון שביצע קישור ישיר בין מתודולוגיה מתורת ההסתברות לבין סטטיסטיקה, ועבודותיו של לפלס, יחד עם עבודותיו של גאוס, הביאו לקשר ראשוני ויסודי בין תורת ההסתברות לסטטיסטיקה על ידי ניתוח הנתונים שהגיעו מאסטרונומיה, לשם כך הם פיתחו את שיטת הריבועים הפחותים ואמידת נראות מרבית, והשתמשו בהתפלגות הנורמלית כדי לאמוד את השגיאות של המדידות. לפלס פרסם עוד עבודות סטטיסטיות רבות שעשו שימוש בתורת ההסתברות, כדוגמת אמידת גודלה של אוכלוסיית צרפת על בסיס טבלאות לידה ומידע דמוגרפי מוקדם.

עבודות רבות בסטטיסטיקה נעשו על בסיס תורת ההסתברות הנאיבית בחלקה הראשון של המאה ה-19, כדוגמת עבודותיה של פלורנס נייטינגייל באפידמיולוגיה. בתקופה זו גם הוקם הגוף הראשון העוסק במחקר סטטיסטי, האגודה הסטטיסטית המלכותית. אולם רק בחציה השני של המאה ה-19, פרנסיס גלטון וממשיכו קרל פירסון הפכו את הסטטיסטיקה לתורה העושה שימוש בכלים מתמטיים, ופיתחו את התאוריה הסטטיסטית המבוססת על תורת ההסתברות. גלטון התעניין בניתוח נתונים גנטיים, ובמסגרת זאת הוא פיתח מושגים סטטיסטיים יסודיים כמו מתאם ורגרסיה ליניארית, ובאמצעותם ביצע הסקה סטטיסטית פורמלית. גלטון הקים קתדרה בקולג' האוניברסיטאי של לונדון שם מונה קרל פירסון שהמשיך את מחקריו, והעמיד את הסטטיסטיקה על יסודות המתמטיקה הסטטיסטית. גלטון ופירסון, יחד עם רפאל וולדון, ייסדו את כתב העת "Biometrika" (ביומטריקה (כתב עת)), שהיה כתב העת המדעי הראשון שעסק במתמטיקה סטטיסטית. פירסון גם הוא פיתח מושגים חשובים כדוגמת סטיית תקן, מקדם המתאם וערך-p, כמו גם מתודולוגיות סטטיסטיות חשובות כדוגמת שיטת המומנטים ובדיקת השערות. בשנת 1911 הוא הקים את המחלקה לסטטיסטיקה הראשונה בעולם, בקולג' האוניברסיטאי של לונדון.

ממשיכו הבולט של פירסון היה רונלד פישר שפעל בשנות ה-20 וה-30, ונחשב למייסד הסטטיסטיקה המודרנית וזה שהפך אותה לכלי שימושי בכל תחומי המדע כולם, בכך שפיתח את הענף של תכנון ניסויים. הוא פיתח מתודולוגיות כמו שיטת נראות מרבית, והיה אחראי לגילוי של התפלגויות סטטיסטיות חשובות כמו התפלגות F והתפלגות t, בהן נעשה שימוש יסודי בבדיקת השערות. מתקופתו של פישר והלאה הסטטיסטיקה הפכה לענף מדעי עצמאי. מאז, בנוסף למחלקה לסטטיסטיקה של הקולג' האוניברסיטאי של לונדון, באוניברסיטאות רבות בעולם המחלקות לסטטיסטיקה ולמתמטיקה הן נפרדות.

מתמטיקה טהורה

ערכים מורחבים – תורת המידה, השיטה ההסתברותית

פאול ארדש, מייסד השיטה ההסתברותית

בסוף המאה ה-19 וראשית המאה ה-20, עבודתם של מתמטיקאים כמו אמיל בורל ואנרי לבג הביאה לכדי פיתוח תורת המידה. כפי שנכתב לעיל, המודל המתמטי של תורת ההסתברות הוא במסגרת תורת המידה, לאחר התפתחות תורת המידה כתורה עצמאית. כאמור, היה זה בורל הראשון שקישר בין תורת המידה לתורת ההסתברות, ושהתובנה הראשונה שלו גובשה על ידי קולמוגורוב לתובנה בימינו כי תורת ההסתברות עוסקת במרחבי מידה מהצורה $\left(X,{\mathcal {F}},\mu \right)$ כאשר פשוט מתקיים כי $\mu \left(X\right)=1$ (בתורת המידה, מרחב מידה כללי יכול גם לקיים $\mu \left(X\right)=\infty$). כך למשל יש היגיון להתבונן בישר הממשי כמרחב בו מידתו של כל קטע $\left(a,b\right)$ היא $b-a$, והמידה היחידה המקיימת תכונה זאת לכל קטע, מידת לבג (או בגרסתה המצומצמת, מידת בורל), אינה יכולה לתת מידה סופית לישר הממשי כולו. ראייתה המחודשת של תורת ההסתברות בהקשר הכללי יותר של תורת המידה הביאה לכדי תורת אינטגרציה חדשה וכללית לחלוטין, והשפעתה ניכרה בתחומים רבים במחקר המתמטי שנדמו כרחוקים מתורת ההסתברות, כדוגמת פיתוח של גישות הסתברותיות במחקר של גאומטריה ותורת המספרים. מאידך, התפתחויות מתמטיות בתורת המידה, כדוגמת משפט ההתכנסות המונוטונית ומשפט ההתכנסות הנשלטת, הביאו לתובנות חשובות בתורת ההסתברות.

השפעה בכיוון אחר ומפתיע שהייתה לתורת ההסתברות על המחקר המתמטי, הייתה פיתוח התורה של גרפים מקריים. מתוך תורה זו צמחה מתודה לפתרון בעיות בקומבינטוריקה ובתורת הגרפים שכונתה "השיטה ההסתברותית", שאת פיתוחה הוביל המתמטיקאי ההונגרי פאול ארדש בשנות ה-50. באופן כללי השיטה מראה אפשרות של קיום גרפים בעלי תכונות מסוימות, על ידי כך שמגדירים מידת הסתברות על אוסף כלשהו של גרפים, ומראים כי ההסתברות של אוסף הגרפים המקיימים תכונות מסוימות היא חיובית. דוגמה יסודית לבנייה כזאת שהציג פאול ארדש יחד עם אלפרד רניי, היא של גרף רדו: זהו גרף המבוסס על מספר בן מניה ולא סופי של קודקודים, שבו כל זוג קודקודים מחובר בהסתברות $1/2$ (ולמעשה ניתן לבחור כל הסתברות $0<p<1$). מתברר כי תהליך זה מוביל בהסתברות $1$ לאותו גרף, עד כדי איזומורפיזם. לגרף זה תכונות אוניברסליות חשובות, וכך למשל כל גרף בן מניה משתכן בו.

אלגוריתמיקה ומדעי המחשב

במהלך המאה ה-20, במקביל להתפתחותם של מדעי המחשב, הוכנסו לשימוש אלגוריתמים אקראיים וכן ניתוח הסתברותי של אלגוריתמים . במהלך מלחמת העולם השנייה הזמין המתמטיקאי האמריקאי ג'ון פון נוימן את חברו המתמטיקאי הפולני סטניסלב אולם להשתתף בפרויקט סודי בניו מקסיקו. אולם הצטרף לתוכנית מנהטן במעבדה הלאומית לוס אלמוס, ובמסגרת עבודתו הציע להשתמש בשיטת מונטה קרלו להערכה של אינטגרלים סבוכים המופיעים בתורה של תגובות שרשרת גרעיניות. הצעתו זו הביאה לפיתוח שיטתי יותר של שיטת מונטה קרלו על ידי פון נוימן, ניקולס מטרופוליס ואחרים. שיטת מונטה קרלו הייתה מרכיב חשוב בסימולציות שנערכו במסגרת תוכנית הגרעין. עוד קודם לכן, באופן בלתי-תלוי, הפיזיקאי האיטלקי אנריקו פרמי עשה שימוש בשיטות אקראיות לביצוע חישובים. כך בשנת 1930 השתמש פרמי בשיטה כזו לחישוב תכונותיו של הנייטרון, שהתגלה באותה עת. עם זאת, המצאת המחשב, שאיפשרה ביצוע סימולציות בקלות רבה, נתנה דחיפה עיקרית לחקירתן של שיטות אלה ולהתפתחותן.

במהלך שנות ה-70 של המאה ה-20 פותחו אלגוריתמים אקראיים כדי לפתור ביעילות רבה בעיות שימושיות. ב-1976 הציג המתמטיקאי הישראלי מיכאל רבין אלגוריתם אקראי לפתרון בעיה מתחום הגאומטריה החישובית, בעיית זוג הנקודות הקרובות ביותר . אחת הבעיות הראשונות שבהן הודגמו חוזקם של אלגוריתמים הסתברותיים והייתה זרז לפיתוח האלגוריתמים האקראיים הייתה בעיית בדיקת ראשוניות. באותה עת לא הייתה ידועה דרך יעילה לבדוק האם מספר הוא ראשוני בזמן ריצה פולינומי (כיום ידוע בשם מבחן AKS לראשוניות). אלגוריתם הסתברותי יעיל לפתרון בעיה זו הוצג ב-1977 על ידי המתמטיקאי האמריקאי רוברט סולוביי והמתמטיקאי הגרמני פולקר שטרסן, ושנודע בעקבות ממציאיו בשם מבחן סולוביי-שטרסן. ב-1980 פורסם על ידי מיכאל רבין אלגוריתם חזק יותר לבדיקת ראשוניות, אלגוריתם מילר-רבין . לאלגוריתמים אלו לבדיקת ראשוניות הייתה חשיבות רבה במדעי המחשב, שכן הם היוו את הבסיס לפיתוחן של שיטות הצפנה נפוצות כדוגמת RSA.

ב-1977 פרסם המתמטיקאי האמריקאי ג'ון גיל את מודל מכונת טיורינג הסתברותית, ובכך הניח את היסודות לניתוח אלגוריתמים הסתברותיים במסגרת תורת הסיבוכיות.

פיזיקה סטטיסטית

ערכים מורחבים – פיזיקה סטטיסטית, התאוריה הקינטית של הגזים

בשנת 1738 פרסם המתמטיקאי ההולנדי-שווייצרי דניאל ברנולי את מאמרו "הידרודינמיקה", ובו הציע להתייחס לגז כאל אוסף של חלקיקים הנעים באקראי, על סמך מודל של כדורי ביליארד. בכך תרם ברנולי לייסוד התאוריה הקינטית של הגזים. בשנת 1856 פרסם אוגוסט קארל קרניג מאמר בהשפעת זה של ברנולי, שבו נעשה לראשונה שימוש בהסתברות כדרך לתמוך בתאוריה הקינטית. קרניג לא התייחס במאמרו לסטטיסטיקה, אבל ההצדקה שלו למודל שהציע, לפיו ניתן להניח שמולקולות הגז בתוך מיכל עם דפנות חלקות נעות במקביל אחת לשנייה, תאמה את השפה שבה השתמשו כותבים שעסקו בתחום. הוא כתב, "המסלול של כל אטום גז חייב להיות כה בלתי-רגיל, שהוא בלתי ניתן לחישוב. עם זאת, בהתאם לחוקי ההסתברות ניתן להניח סדר מוחלט במקום אי-סדירות מוחלטת". באותה שנה, וככל הנראה ללא היכרות עם המאמר של קרניג, הביע רודולף קלאוזיוס את אותו הרעיון.

בהמשך, תרם לפיתוח תורה זו ג'יימס קלארק מקסוול. הוא פרסם בשנת 1866 את התפלגות מקסוול (אשר נקראה לימים "התפלגות מקסוול-בולצמן"), המתארת את ההסתברות של מולקולת גז להימצא במהירות מסוימת. בשנת 1867 עמד מקסוול על אופיו הסטטיסטי של החוק השני של התרמודינמיקה, והציע את הקשר בין אנטרופיה לאינפורמציה, אותו חידד באמצעות ניסוי מחשבתי, הידוע בשם "השד של מקסוול". בשנת 1878 הציע מקסוול את שם התחום "מכניקה סטטיסטית". ברבות הימים, עם הכללת השימוש בכלים שסיפק ענף זה לפתרון בעיות שונות בפיזיקה החורגות מהתחום המכני גרידא, התקבל גם השם "פיזיקה סטטיסטית".

לודוויג בולצמן, מאבות המכניקה הסטטיסטית

בשנת 1871, ניסח הפיזיקאי האוסטרי לודוויג בולצמן את הנחת הארגודיות, אשר לה חשיבות רבה בניסוח המודרני של המכניקה הסטטיסטית. שנה לאחר מכן, בשנת 1872, פרסם בולצמן את משפט ה-H. בולצמן הוא זה אשר זיהה את האנטרופיה, במילים פשוטות, כמידת "חוסר הסדר" במערכת. המשפט, אשר סתר לכאורה את המכניקה הקלאסית בה תהליכים הם הפיכים בזמן, עורר הדים רבים. כמו כן, ניסח בולצמן את התפלגות בולצמן המתארת את ההסתברות של מערכת סטטיסטית להימצא במצב אנרגטי מסוים. במקביל לבולצמן, פיתח הפיזיקאי ג'וסיה וילארד גיבס את גישת הצברים, לה תפקיד מרכזי בפיזיקה הסטטיסטית המודרנית.

בהמשך, התגבשה הפיזיקה הסטטיסטית על יסודות מתמטיים של תורת ההסתברות, בין השאר על בסיס ההנחה כי במערכות גדולות מתנהגים מאפיינים הסתברותיים של המערכת בדומה למאפיינים סטטיסטיים: כך למשל, בהתאם לחוק המספרים הגדולים, אם במערכת מסוימת ההסתברות להימצא במצב מקרוסקופי מסוים היא $p$, כאשר כמות העצמים במערכת שמצביהם המיקרוסקופיים תואמים את המצב המקרוסקופי המתואר היא בשיעור של כ-$p$ מכמות העצמים הכוללת במערכת.

הנחה נוספת בה משתמשים בפיזיקה סטטיסטית היא כי ערכים מקרוסקופיים של מערכות סטטיסטיות מתפלגים נורמלית בקירוב סביב ערך תוחלת עם סטיית תקן נמוכה יחסית. הנחה זו נתמכת על ידי ידע אמפירי, ומבוססת מבחינה מתמטית על משפט הגבול המרכזי, לפיו סכומם של משתנים מקריים בלתי תלויים ושווי-התפלגות מתפלג נורמלית עם סטיית תקן הפרופורציונית לשורש ריבועי של מספר המשתנים. ניסוח הנחת הארגודיות העומדת בבסיס גישת הצברים בפיזיקה הסטטיסטית הצריך פיתוח כלים מתמטיים חדשים, והוליד את התורה הארגודית. תיאורים מאוחרים יותר של התורה משתמשים בכלים מתמטיים מתחום תורת האינפורמציה (ראו בפרק הבא).

השפעה נוספת הייתה ב"שנת הפלאות" של הפיזיקאי זוכה פרס נובל אלברט איינשטיין. באחד מארבעת מאמריו הנודעים שפורסמו בשנה זו, עשה איינשטיין שימוש בתנועה בראונית במחקרו על מכניקה סטטיסטית, במקביל לעבודתו של הפיזיקאי הפולני מריאן סמולוכובסקי (Marian Smoluchowski). בהמשך לעבודות אלה, הפיזיקאי הצרפתי ז'אן-בטיסט פרן, גם הוא זוכה פרס נובל, עשה שימוש בתנועה בראונית כדי לחשב את מספר אבוגדרו. עבודות אלה חיזקו את העמדה המדעית בדבר הממשות של אטומים, ובמקביל חיזקו את העניין המתמטי בתנועה בראונית, שבתקופה זו טרם הייתה מוגדרת במסגרת אקסיומטית מוצקה.

תורת האינפורמציה

ערך מורחב – תורת האינפורמציה

קלוד שאנון, מייסד תורת האינפורמציה

בשנת 1948 פרסם המתמטיקאי האמריקאי קלוד שאנון את מאמרו "תאוריה מתמטית של תקשורת", בו הוא הציג מודל מתמטי של מערכת תקשורת. במאמר זה הגדיר שאנון את הסיבית כיחידת מידע ואת האנטרופיה של מקור מידע, אותה ניתן לתאר ככמות הביטים המינימלית הנדרשת כדי לקודד מסר שיוצר מקור המידע. כמו כן סיפק שאנון הגדרה מתמטית כללית של ערוץ תקשורת כקשר סטטיסטי, ותיאר את המעבר של מידע דרך ערוץ "רועש", כלומר שיש בו הפרעות אקראיות שאת התפלגותן ניתן לנתח ובכך לנסות לשחזר את המידע המקורי. מתוך עבודה זו צמחה תורת האינפורמציה שנחקרת עד ימינו בתחומים מדעיים שונים.

מאמרו של שאנון הוא אחד המאמרים המשפיעים ביותר על המדע במאה ה-20, ונכון ל-2016 הוא מצוטט מעל 100 אלף פעמים. בעקבותיו פותחו שיטות לחישוב קיבול של ערוצי תקשורת תאורטיים ומעשיים שונים, וחסמים על קצבי שגיאות בשיטות קידוד ופענוח שונות. לעבודתו של שאנון יש גם השלכות תאורטיות, וכך למשל מושג האנטרופיה הסטטיסטית שפיתח שאנון השפיע על תחומים מתמטיים אחרים, כדוגמת מערכות דינמיות והתורה הארגודית.

מודל בלק-שולס לתמחור אופציות

ערך מורחב – מודל בלק ושולס

שיטות הסתברותיות שימשו גם במתמטיקה פיננסית, שהדוגמה הבולטת ביותר היא מודל בלק-שולס לתמחור נגזרים. בעיה זו של תמחור טופלה כבר בשנת 1900 על ידי המתמטיקאי הצרפתי לואי בשלייה במאמרו "תאוריית הספקולציה", בו הוא ניסה לנתח התנהגות של מחירי אופציות בבורסת פריז באמצעות תנועה בראונית. העבודה של בשליה לא השפיעה רבות, אולם היא הייתה רמז ראשון להשפעות של תורת ההסתברות על מתמטיקה פיננסית.

בראשית שנות ה-70 החלו הכלכלנים מיירון שולס ופישר בלק מאוניברסיטת שיקגו לעבוד על פיתוח מודל שייתן פתרון לבעיה של תמחור מניות, שהפכה רלוונטית יותר ככל שהתפתחו שוקי ההון. בשנת 1973 הם פרסמו את המאמר "תמחור אופציות והתחייבויות תאגידיות", כאשר עמיתם הכלכלן האמריקאי רוברט קרהרט מרטון פרסם בסמוך מאמר אחר, "התאוריה של תמחור רציונלי של אופציות", ובו התייחס למאמרם של השניים ופיתח את המודל. מודל זה נשען בצורה מהותית על תורת ההסתברות, בכך שהוא מבוסס על ההנחה כי השינויים בשער הם תנועה בראונית גאומטרית המתוארת על ידי התפלגות לוג-נורמלית. מרטון הוא שנתן לנוסחה את שמה "בלק-שולס", על אף שגם הוא תרם למודל. עבודה זו היוותה פריצת דרך חשובה בתחום המתמטיקה הפיננסית, ושולס ומרטון זכו עבורה בפרס נובל לכלכלה בשנת 1997 (בלק נפטר קודם לכן).

לקריאה נוספת

• Anders Hald, A History of Mathematical Statistics from 1750 to 1930, New York: Wiley, 1998
• Anders Hald, A History of Probability and Statistics and Their Applications before 1750, New York: Springer, 2003
• Ian Hacking, The Emergence of Probability, New York: Cambridge University Press, 2006
• M. G. Kendall, Studies in the History of Probability and Statistics. XIII Isaac Todhunter's History of the Mathematical Theory of Probability, in: Biometrika, Vol. 50, No. 1/2 (Jun., 1963), pages 204-205

קישורים חיצוניים

• הסתברות וסטטיסטיקה, באתר אנציקלופדיה בריטניקה (באנגלית)

• John Aldrich, Figures from the History of Probability and Statistics, University of Southampton
• Tom M. Apostol, A Short History of Probability, in: Calculus, Volume II, 2nd edition (1969)
• Glenn Shafer, The Early Development of Mathematical Probability, in: Companion Encyclopedia of the History and Philosophy of the Mathematical Sciences, Pages 1293-1302, edited by I. Grattan-Guinness (1993)
• Vladimir Vovk & Glenn Shafer, Kolmogorov’s contributions to the foundations of probability (2003)

הערות שוליים

ערך מומלץ

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

32848983היסטוריה של תורת ההסתברות