אנטרופיה מותנית

אנטרופיות של שני משתנים בעלי אינפורמציה משותפת

בתורת האינפורמציה, האנטרופיה המותנית היא תוחלת האנטרופיה של משתנה אקראי $ Y $ בהנחה שאנו יודעים את תוצאתו של משתנה אקראי אחר $ X $ (התוחלת היא על שני המשתנים האקראיים).

הגדרה

אם נגדיר את האנטרופיה של $ Y $ בהינתן זאת שתוצאתו של משתנה אקראי $ X $ היא $ x $ כ-$ H(Y|X=x) $, אז נקבל את ההגדרה הבאה לאנטרופיה מותנית של משתנים בדידים:

$ {\begin{aligned}H(Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,H(Y|X=x)\\&{=}\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,{\frac {1}{p(y|x)}}\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}} $

במקרה של משתנים רציפים, מחליפים את הסכומים באינטגרלים.

תכונות

לכל שני משתנים אקראיים $ X $ ו-$ Y $:

$ H(Y|X)\,=\,H(X,Y)-H(X)\,. $

$ H(X|Y)\leq H(X)\, $

$ H(X,Y)=H(X|Y)+H(Y|X)+I(X;Y) $ (כאשר $ I(X;Y) $ היא האינפורמציה ההדדית)

$ I(X;Y)\leq H(X),\, $

אם המשתנים בלתי תלויים, אזי

$ H(Y|X)=H(Y){\text{ and }}H(X|Y)=H(X)\, $

ראו גם

• אנטרופיה (סטטיסטיקה)
• אינפורמציה הדדית