בבדיקת השערות סטטיסטית , הלמה של ניימן-פירסון היא למה שפותחה על ידי הסטטיסטיקאים יז'י ניימן ואגון פירסון , והיא מצביעה על מבחן בין השערות פשוטות, אשר לו העוצמה הגדולה ביותר מבין כל המבחנים בעלי אותה רמת המובהקות
α
{\displaystyle \alpha }
ניסוח נתונים מדגם
X
=
(
X
1
,
…
,
X
n
)
{\displaystyle \mathbf {X} =(X_{1},\dots ,X_{n})}
פונקציית נראות
L
(
X
;
θ
)
{\displaystyle L(\mathbf {X} ;\theta )}
פרמטר
θ
{\displaystyle \theta }
השערות פשוטות: השערת האפס ,
H
0
:
θ
=
θ
0
{\displaystyle H_{0}\,:\theta =\theta _{0}}
H
1
:
θ
=
θ
1
{\displaystyle H_{1}\,:\theta =\theta _{1}}
מבחן יחס הנראות , שאזור הדחייה שלו הוא:
R
k
=
{
X
:
L
(
X
;
θ
1
)
L
(
X
;
θ
0
)
>
k
α
}
{\displaystyle {\mathcal {R}}_{k}=\left\{\mathbf {X} :{\frac {L(\mathbf {X} ;\theta _{1})}{L(\mathbf {X} ;\theta _{0})}}>k_{\alpha }\right\}}
הוא ה
מבחן בעל ה
עוצמה הגדולה ביותר (Uniformly Most Powerful; UMP) מבין כל המבחנים ב
רמת מובהקות
α
{\displaystyle \alpha }
(כלומר, מתקיים
Pr
(
X
∈
R
k
)
=
α
{\displaystyle \operatorname {Pr} (\mathbf {X} \in {\mathcal {R}}_{k})=\alpha }
, אם
H
0
{\displaystyle H_{0}}
נכונה).
למעשה, פעמים רבות ניתן למצוא מבחן שקול (כלומר, בעל אותו אזור דחייה), שסטטיסטי המבחן שלו פשוט יותר – ראו דוגמה להלן.
דוגמה נניח מודל סטטיסטי שבו הנתונים מתפלגים נורמלית עם שונות ידועה
σ
2
{\displaystyle \sigma ^{2}}
μ
{\displaystyle \mu }
H
0
:
μ
=
0
H
1
:
μ
=
1
{\displaystyle {\begin{array}{lcl}H_{0}:&\mu =0\\H_{1}:&\mu =1\end{array}}}
ה
נראות לפי השערת האפס היא
L
(
X
;
θ
0
)
=
1
2
π
σ
2
exp
(
−
1
2
∑
i
=
1
n
X
i
2
)
{\displaystyle L(\mathbf {X} ;\theta _{0})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}{X_{i}}^{2}\right)}
ובאופן דומה, הנראות לפי ההשערה החלופית היא
L
(
X
;
θ
1
)
=
1
2
π
σ
2
exp
(
−
1
2
∑
i
=
1
n
(
X
i
−
1
)
2
)
{\displaystyle L(\mathbf {X} ;\theta _{1})={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}\left(X_{i}-1\right)^{2}\right)}
ויחס הנראות הוא
L
(
X
;
θ
1
)
L
(
X
;
θ
0
)
=
1
2
π
σ
2
exp
(
−
1
2
∑
i
=
1
n
X
i
2
)
1
2
π
σ
2
exp
(
−
1
2
∑
i
=
1
n
(
X
i
−
1
)
2
)
=
exp
(
−
1
2
∑
i
=
1
n
X
i
2
)
exp
(
−
1
2
∑
i
=
1
n
(
X
i
2
−
2
X
i
+
1
)
2
)
=
exp
[
−
1
2
∑
i
=
1
n
(
X
i
2
−
X
i
2
+
2
X
i
−
1
)
]
=
exp
(
∑
i
=
1
n
X
i
−
n
2
)
{\displaystyle {\begin{alignedat}{2}{\frac {L(\mathbf {X} ;\theta _{1})}{L(\mathbf {X} ;\theta _{0})}}&={\frac {{\cancel {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}}\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}{X_{i}}^{2}\right)}{{\cancel {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}}\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}\left(X_{i}-1\right)^{2}\right)}}\\&={\frac {\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}{X_{i}}^{2}\right)}{\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}\left({X_{i}}^{2}-2X_{i}+1\right)^{2}\right)}}\\&=\exp \left[-{\frac {1}{2}}\sum _{i=1}^{n}\left({\cancel {{X_{i}}^{2}}}-{\cancel {{X_{i}}^{2}}}+2X_{i}-1\right)\right]\\&=\exp \left(\sum _{i=1}^{n}X_{i}-{\frac {n}{2}}\right)\\\end{alignedat}}}
נרצה להשוות את יחס הנראות הזה לערך קריטי התלוי במובהקות, ולדחות את השערת האפס אם
exp
(
∑
i
=
1
n
X
i
−
n
2
)
>
k
α
∗
{\displaystyle \exp \left(\sum _{i=1}^{n}X_{i}-{\frac {n}{2}}\right)>k_{\alpha }^{*}}
עם זאת, ניתן לשים לב כי תנאי הזה שקול לדחייה של השערת האפס אם
X
¯
n
=
d
e
f
1
n
∑
i
=
1
n
X
i
>
k
α
{\displaystyle {\bar {X}}_{n}{\overset {\mathrm {def} }{=}}{\frac {1}{n}}\sum _{i=1}^{n}X_{i}>k_{\alpha }}
עבור ערך קריטי
k
α
{\displaystyle k_{\alpha }}
במילים אחרות, מבחן יחס הנראות שקול למבחן שבודק האם ממוצע המדגם
X
¯
n
{\displaystyle {\bar {X}}_{n}}
מבחן Z .
הוכחה דיאגרמת ון הממחישה את ההוכחה ללמה של ניימן ופירסון: אזורי הדחייה אם מתקיימת השערת האפסאזורי הדחייה אם מתקיימת ההשערה האלטרנטיבית יהי
R
N
P
{\displaystyle {\mathcal {R}}_{NP}}
R
N
P
=
{
X
:
L
(
X
;
θ
1
)
L
(
X
;
θ
0
)
>
k
α
}
{\displaystyle {\mathcal {R}}_{NP}=\left\{\mathbf {X} :{\frac {L(\mathbf {X} ;\theta _{1})}{L(\mathbf {X} ;\theta _{0})}}>k_{\alpha }\right\}}
ויהי מבחן אחר בעל אותה רמת מובהקות, שאזור הדחייה שלו,
R
A
{\displaystyle {\mathcal {R}}_{A}}
R
N
P
{\displaystyle {\mathcal {R}}_{NP}}
Pr
(
X
∈
R
N
P
)
=
Pr
(
X
∈
R
A
)
=
α
{\displaystyle \operatorname {Pr} \left(\mathbf {X} \in {\mathcal {R}}_{NP}\right)=\operatorname {Pr} \left(\mathbf {X} \in {\mathcal {R}}_{A}\right)=\alpha }
H
0
{\displaystyle H_{0}}
נוסחת ההסתברות השלמה קובע כי לכל
θ
{\displaystyle \theta }
Pr
θ
(
R
N
P
)
=
Pr
θ
(
R
N
P
∖
R
A
)
+
Pr
θ
(
R
N
P
∩
R
A
)
{\displaystyle \operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\right)=\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)+\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)}
Pr
θ
(
R
A
)
=
Pr
θ
(
R
A
∖
R
N
P
)
+
Pr
θ
(
R
N
P
∩
R
A
)
{\displaystyle \ \ \operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\right)=\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)+\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)}
ולכן,
Pr
θ
(
R
N
P
∖
R
A
)
−
Pr
θ
(
R
A
∖
R
N
P
)
=
[
Pr
θ
(
R
N
P
)
−
Pr
θ
(
R
N
P
∩
R
A
)
]
−
[
Pr
θ
(
R
A
)
−
Pr
θ
(
R
N
P
∩
R
A
)
]
=
Pr
θ
(
R
N
P
)
−
Pr
θ
(
R
A
)
{\displaystyle {\begin{aligned}\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)-\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)&=\left[\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\right)-\color {magenta}{\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)}\right]-\left[\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\right)-\color {magenta}{\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)}\right]\\&=\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\right)-\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\right)\end{aligned}}}
(1)
θ
=
θ
0
{\displaystyle \theta =\theta _{0}}
Pr
θ
0
(
R
N
P
∖
R
A
)
−
Pr
θ
0
(
R
A
∖
R
N
P
)
=
Pr
θ
0
(
R
N
P
)
−
Pr
θ
0
(
R
A
)
=
α
−
α
=
0
{\displaystyle {\begin{aligned}\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)-\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)&=\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\right)-\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\right)\\&=\ \alpha -\alpha \\&=0\end{aligned}}}
כלומר:
Pr
θ
0
(
R
N
P
∖
R
A
)
=
Pr
θ
0
(
R
A
∖
R
N
P
)
{\displaystyle \operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)=\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)}
(2)
Pr
θ
1
(
R
N
P
)
>
Pr
θ
1
(
R
A
)
{\displaystyle \operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{NP}\right)>\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{A}\right)}
(1) נובע כי לשם כך מספיק להוכיח כי
Pr
θ
1
(
R
N
P
∖
R
A
)
>
Pr
θ
1
(
R
A
∖
R
N
P
)
{\displaystyle \operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)>\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)}
R
N
P
∖
R
A
{\displaystyle {\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}}
L
(
X
;
θ
1
)
>
k
α
L
(
X
;
θ
0
)
{\displaystyle L(\mathbf {X} ;\theta _{1})>k_{\alpha }\ L(\mathbf {X} ;\theta _{0})}
Pr
θ
1
(
R
N
P
∖
R
A
)
>
Pr
θ
0
(
R
N
P
∖
R
A
)
{\displaystyle \operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)>\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)}
(3)
באופן דומה, בתוך
R
A
∖
R
N
P
{\displaystyle {\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}}
Pr
θ
1
(
R
A
∖
R
N
P
)
<
Pr
θ
0
(
R
A
∖
R
N
P
)
{\displaystyle \operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)<\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)}
(4)
Pr
θ
1
(
R
N
P
∖
R
A
)
>
(
3
)
Pr
θ
0
(
R
N
P
∖
R
A
)
=
(
2
)
Pr
θ
0
(
R
A
∖
R
N
P
)
>
(
4
)
Pr
θ
1
(
R
A
∖
R
N
P
)
{\displaystyle {\begin{aligned}\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)&{\overset {(3)}{>}}\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)\\&{\overset {(2)}{=}}\operatorname {Pr} _{\theta _{0}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)\\&{\overset {(4)}{>}}\operatorname {Pr} _{\theta _{1}}\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)\end{aligned}}}
כנדרש.
ראו גם לקריאה נוספת קישורים חיצוניים 24341416 הלמה של ניימן-פירסון
![{\displaystyle {\begin{alignedat}{2}{\frac {L(\mathbf {X} ;\theta _{1})}{L(\mathbf {X} ;\theta _{0})}}&={\frac {{\cancel {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}}\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}{X_{i}}^{2}\right)}{{\cancel {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}}\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}\left(X_{i}-1\right)^{2}\right)}}\\&={\frac {\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}{X_{i}}^{2}\right)}{\exp \left(-{\frac {1}{2}}\sum _{i=1}^{n}\left({X_{i}}^{2}-2X_{i}+1\right)^{2}\right)}}\\&=\exp \left[-{\frac {1}{2}}\sum _{i=1}^{n}\left({\cancel {{X_{i}}^{2}}}-{\cancel {{X_{i}}^{2}}}+2X_{i}-1\right)\right]\\&=\exp \left(\sum _{i=1}^{n}X_{i}-{\frac {n}{2}}\right)\\\end{alignedat}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f3ef607296edcea40e3f5f0cdbd2492c6d4fc557)
![{\displaystyle {\begin{aligned}\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\backslash {\mathcal {R}}_{A}\right)-\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\backslash {\mathcal {R}}_{NP}\right)&=\left[\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\right)-\color {magenta}{\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)}\right]-\left[\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\right)-\color {magenta}{\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\cap {\mathcal {R}}_{A}\right)}\right]\\&=\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{NP}\right)-\operatorname {Pr} _{\theta }\left({\mathcal {R}}_{A}\right)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cbd20dd674066b92cd32f72c1ec984f5ec3c56d5)
