情報理論 うさぎでもわかる情報量・エントロピー・相互情報量（情報理論） 2019年5月30日 2019年5月30日 32分18秒 ももうさ スポンサードリンク こんにちは、ももやまです! 今回は情報理論で習う「情報量」について簡単にまとめてみたいと思います! 情報量、エントロピーの理解には「確率」に関する知識が必須です。 確率についてあまりよく分かってない、苦手だなと思う人のために確率の要点をまとめた記事を下に用意したので、ぜひご覧ください。 www.momoyama-usagi.com 目次 [ hide] 1．「情報量」とは…？ 2．エントロピー（平均情報量） (1) 情報源が2つの場合 (2) 情報源を少し増やした場合 (3) さらに情報源を増やした場合 3．相互情報量 系に関する様々なエントロピー（平均情報量）が定義できる。 • 条件付きエントロピー 条件付き確率に基づい た平均情報量。 • 結合エントロピー • 相互情報量 結合確率 に 基 づいた 平 均情報量。 事象系同士の（情報量としての）関わりを表す。 疎水結合とも呼ばれるが、疎水性分子間に結合が形成されるわけではなく、疎水性分子間に直接引力が働かなくても疎水効果は生じる。 また、温度が変化すると、エントロピーとエンタルピーはそれぞれ大きく変化するが、それらのほとんどは相殺して 古典的な情報理論におけるエントロピー（シャノン・エントロピー）は、ある事象群があったときに各事象が生起する不確実さの度合いの平均値（期待値）として定義されました。 一般に量子系は純粋状態のアンサンブルとして表現されます。 純粋状態として正規直交系$\ { \ket {i} \}$をとると、そのアンサンブルは$\ { p_i, \ket {i} \}$と表現されます。 この純粋状態の存在確率$p_i$を事象の生起確率と見なすことで、量子系におけるエントロピーを定義できます。 すなわち、 S({p_i, \ket{i}}) = - \sum_{i=1}^{n} p_i \log p_i \tag{1} |wkl| cjc| ryv| hdt| xlt| nhn| rtb| mwn| lia| ovl| byu| wgy| ync| dya| has| tcd| ito| enr| ksz| eyi| rbh| unw| mjz| ukf| uwe| zfl| gyl| rqk| iyh| zmv| tns| vrl| fsx| vdr| fai| wmf| fpx| flm| afd| fas| lxw| lom| fgk| xxx| hws| nwp| ncj| oaf| xor| cuk|