חסם צ'פמן-רובינס
בתורת האמידה ובסטטיסטיקה, חסם צ'פמן-רובינס (Chapman-Robbins Bound; לעיתים חסם המרסלי-צ'פמן-רובינס) הוא חסם תחתון על השונות של אומדים של פרמטרים דטרמיניסטיים. חסם זה הינו הכללה של חסם קרמר-ראו, ובהשוואה אליו - הוא הדוק יותר ומתאים למגוון רחב יותר של בעיות. עם זאת, חישובו לרוב מסובך יותר.
החסם נגזר לראשונה ובאופן בלתי-תלוי על ידי ג'ון המרסלי ב-1950 ועל ידי דאגלס צ'פמן והרברט רובינס ב-1951. זהו מקרה פרטי של חסם ברנקין (Barankin) המורכב יותר.
החסם
יהי $ \ \theta $ פרמטר דטרמיניסטי לא-ידוע, ויהיה $ \ T(X) $ אומד של פונקציה כלשהי של הפרמטר, $ \ \psi (\theta ) $. יהי $ \ p(x;\theta ) $. הפילוג של $ \ X $ (שתלוי ב-$ \ \theta $), ונניח כי הוא מוגדר היטב וחיובי לכל $ \ x $ ולכל $ \ \theta $.
אם $ \ T(X) $ הוא אומד חסר-הטיה של $ \ \psi (\theta ) $, כלומר:
- $ \ \mathrm {E} \left[T(X)\right]=\psi (\theta )\,\,\forall \theta $
אז לפי חסם צ'פמן-רובינס:
- $ \ Var(T(X))\geq \sup _{h}{\frac {\left[\psi (\theta +h)-\psi (\theta )\right]^{2}}{E\left[{\tfrac {p(x;\theta +h)}{p(x;\theta )}}-1\right]^{2}}} $.
למעשה, אי השוויון (ללא הוצאת הסופרמום) מתקיים לכל $ \ h $, ולכן החסם ההדוק ביותר הוא כאשר הביטוי מקבל את הסופרמום שלו לפי $ \ h $. התנאי לקיומו של החסם הוא שהתומך של $ \ p(x;\theta +h) $ יהיה מוכל בתומך של $ \ p(x;\theta ) $.
הקשר לחסם קרמר-ראו
חסם צ'פמן-רובינס (הביטוי ללא הסופרמום) מתכנס לחסם קרמר-ראו כאשר $ \ h\to 0 $, בהנחה שהתנאים הרגולריים הדרושים מתקיימים (ראו בערך). מתוך כך, חסם צ'פמן-רובינס הוא תמיד הדוק לכל הפחות כמו קרמר-ראו. יתר על-כן, חסם צ'פמן-רובינס קיים תחת תנאים רגולריים חלשים משמעותית מאלו של חסם קרמר-ראו. כך למשל, להוכחת החסם לא נדרש כי הפילוג $ \ p(x;\theta ) $ יהיה גזיר. במקרים כאלו, האינפורמציה של פישר לא מוגדרת, ולכן חסם קרמר-ראו לא קיים.
הוכחת החסם
$ \ T(X) $ הוא משערך חסר-הטיה, ולכן מתקיים:
- $ \ \int T(x)\cdot p(x;\theta )\,dx=\psi (\theta ) $
- $ \ \int T(x)\cdot p(x;\theta +h)\,dx=\psi (\theta +h) $
חיסור המשוואות:
- $ \ \int T(x)\cdot (p(x;\theta +h)-p(x;\theta ))\,dx=\psi (\theta +h)-\psi (\theta ) $
בנוסף מתקיים:
- $ \ \int \psi (\theta )\cdot (p(x;\theta +h)-p(x;\theta ))\,dx=\psi (\theta )\cdot \int (p(x;\theta +h)-p(x;\theta ))\,dx=\psi (\theta )\cdot (1-1)=0 $
נחסיר בין שתי המשוואות האחרונות, לקבלת:
- $ \ \int (T(x)-\psi (\theta ))\cdot {\frac {p(x;\theta +h)-p(x;\theta )}{p(x;\theta )}}\cdot p(x;\theta )\,dx=\psi (\theta +h)-\psi (\theta ) $
כלומר:
- $ \ \mathrm {E} \left[(T(X)-\psi (\theta ))\cdot ({\frac {p(x;\theta +h)}{p(x;\theta )}}-1)\right]=\psi (\theta +h)-\psi (\theta ) $
העלאת המשוואה בריבוע ואי-שוויון קושי-שוורץ יניבו:
- $ \ (\psi (\theta +h)-\psi (\theta ))^{2}=\mathrm {E} \left[(T(X)-\psi (\theta ))\cdot ({\frac {p(x;\theta +h)}{p(x;\theta )}}-1)\right]^{2}\leq \mathrm {E} \left[(T(X)-\psi (\theta ))^{2}\right]\cdot \mathrm {E} \left[({\frac {p(x;\theta +h)}{p(x;\theta )}}-1)^{2}\right] $
ומכאן:
- $ \ Var(T(X))\geq {\frac {\left[\psi (\theta +h)-\psi (\theta )\right]^{2}}{({\tfrac {p(x;\theta +h)}{p(x;\theta )}}-1)^{2}}} $
שזהו החסם המבוקש.
ראו גם
לקריאה נוספת
- Hammersley, J. M. (1950), "On estimating restricted parameters", Journal of the Royal Statistical Society, Series B 12 (2): 192–240.
- Chapman, D. G.; Robbins, H. (1951), "Minimum variance estimation without regularity assumptions", Annals of Mathematical Statistics 22 (4): 581–586.
- Lehmann, E. L.; Casella, G. (1998), Theory of Point Estimation (2nd ed.), Springer.