אנטרופיות של שני משתנים בעלי אינפורמציה משותפת בתורת האינפורמציה , האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי
Y
{\displaystyle Y}
X
{\displaystyle X}
הגדרה אם נגדיר את האנטרופיה של
Y
{\displaystyle Y}
X
{\displaystyle X}
x
{\displaystyle x}
H
(
Y
|
X
=
x
)
{\displaystyle H(Y|X=x)}
H
(
Y
|
X
)
≡
∑
x
∈
X
p
(
x
)
H
(
Y
|
X
=
x
)
=
∑
x
∈
X
p
(
x
)
∑
y
∈
Y
p
(
y
|
x
)
log
1
p
(
y
|
x
)
=
−
∑
x
∈
X
∑
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
−
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
y
|
x
)
=
∑
x
∈
X
,
y
∈
Y
p
(
x
,
y
)
log
p
(
x
)
p
(
x
,
y
)
.
{\displaystyle {\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&{=}\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,{\frac {1}{p(y|x)}}\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}
במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.
תכונות לכל שני משתנים אקראיים
X
{\displaystyle X}
Y
{\displaystyle Y}
H
(
Y
|
X
)
=
H
(
X
,
Y
)
−
H
(
X
)
.
{\displaystyle H(Y|X)\,=\,H(X,Y)-H(X)\,.}
H
(
X
|
Y
)
≤
H
(
X
)
{\displaystyle H(X|Y)\leq H(X)\,}
H
(
X
,
Y
)
=
H
(
X
|
Y
)
+
H
(
Y
|
X
)
+
I
(
X
;
Y
)
{\displaystyle H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y)}
I
(
X
;
Y
)
{\displaystyle I(X;Y)}
אינפורמציה ההדדית )
I
(
X
;
Y
)
≤
H
(
X
)
,
{\displaystyle I(X;Y)\leq H(X),\,}
אם המשתנים בלתי תלויים, אזי
H
(
Y
|
X
)
=
H
(
Y
)
and
H
(
X
|
Y
)
=
H
(
X
)
{\displaystyle H(Y|X)=H(Y){\text{ and }}H(X|Y)=H(X)\,}
ראו גם 
