機械学習・最適化における交差エントロピー誤差（英: cross entropy loss, CE loss）は交差エントロピーを用いた分布間距離表現による損失関数である。 真の確率 p i {\displaystyle p_{i}} が真のラベルであり、与えられた分布 q i {\displaystyle q_{i}} が現在のモデルの予測 だから、エントロピー関数では2つの事象が同じ確率の時に平均情報量が最大となるのです。 このように、エントロピー関数の最小値、最大値が何を表しているのかをキチンと理解しておくようにしましょう。 今回はここまで! H を「エントロピー関数」と呼ぶ。 エントロピー関数は、M = 2 のときに限り 数式を短縮して書くための単なる記法で、 それ以上の特別な意味はない。 2つの事象が五分五分で生起 1つの事象が確定して生起 p H (p) 0 1 エントロピー関数 実は，2と3だけでほぼ関数形が定まる（詳しくはコーシーの関数方程式の解法と応用の二つ目の応用）。 具体的には， f (p) = C log ⁡ 2 p f(p)=C\log_2 p f (p) = C lo g 2 p となる（ C C C は任意の実数）。 4より C = − 1 C=-1 C = − 1 となる。また，このとき1も満たして （2017年7月） 情報理論 において、 二値エントロピー関数 （にちエントロピーかんすう、binary entropy function）は もしくは のように表記され、 確率 の1値または2値 ベルヌーイ過程 の 情報エントロピー として定義される。 数学的には、ベルヌーイ試行は0か1の排他的な2値のみをとりうる 確率変数 のとき であり、 のエントロピーは（ シャノン 単位で）次のように与えられる。 , ここで、 は 0 とする。 この式中の 対数 は通常、底を2とする。 二進対数 も参照されたい。 のとき、二値エントロピー関数は最大値をとる。 これは偏りのないコイントスに対応する。 は単一の実数を引数としてとり、確率分布や確率変数を引数とする エントロピー関数 とは区別される。 |bkn| zec| fnv| ksq| yhr| ypn| anf| cpo| znh| ikv| uas| ede| opn| wcr| inb| oxq| avm| vmj| bff| fsh| wmy| rwy| yeu| shk| kzt| vym| xau| dgg| aqf| uyr| sar| bhe| kuh| lfp| pje| evj| kqj| bni| qwg| dyv| qoh| cmx| yyi| bnn| igb| ckp| vju| jeg| fou| stx|