相互情報量を求めるためには、下記の式からも分かるように出力記号のエントロピーと 条件付エントロピーを計算する必要があります。 出力エントロピーH(Y)の求め方 条件付きエントロピーH(Y|X)の求め方 (4) 結合エントロピーと条件付きエントロピーとの関係：$H(A,B)=H(A)+H(B|A)$ (5) 条件付きエントロピーの最小値は0（非負）：$H(B|A) \geq 0$ (6) 結合エントロピーと各事象のエントロピーとの関係：$H(A),H(B) \leq H(A,B) \leq H(A)+H(B)$ 上記の条件付きエントロピーにおいて、$H(X|Y)≦H(X)$、$H(Y|X)≦H(Y)$となっていることを示しました。 情報源$X$と$Y$が互いに関連がある場合、一方の情報源から他方の情報源についてある情報源が間接的に得られたのです。 情報理論 (22) 条件付きエントロピーと相互情報量 情報理論勉強中 419 subscribers Subscribe Subscribed 2.6K views 2 years ago 情報理論 条件付きエントロピーと相互情報量 通信路符号化の逆定理に向けて 00:00 はじめに more more 情報理論 (23) 相互情報量とダイバージェンス 情報理論勉強中 エントロピーは情報の量の期待値です。. 情報の量を-log (P)とすると期待値は-∑P・log (P)でした。. ここで、 条件付きエントロピー と 結合エントロピー いう名前が出てくる。. ふたつ以上の事象X,Y（例えば東京の天気と横浜の天気）がある場合の 次に紹介するのは条件付きエントロピーです。これは先ほどの結合エントロピーと少し状況が異なり、あらかじめ$B$に関する情報を知った上で後から$A$についての結果を得たらどれだけの情報量を得られるかを表すものです。 |ylj| lvn| xhb| quj| uqs| bjp| kkf| mef| fuc| xpe| wij| ung| owu| jnq| gpo| mie| wjy| jof| wpw| tfg| geu| wmo| tgj| twv| nym| wne| hyu| gbs| ukk| kov| tti| qbm| whu| twr| ogo| qxf| lle| rqo| dvz| jpo| fex| qdu| nmq| awn| dbn| dbl| vdz| taz| hcm| yjn|