ソフトマックス関数は、 K 個の実数からなるベクトル z を入力として受け取り、入力の指数に比例する K 個の確率で構成される 確率分布 に正規化する。 つまり、ソフトマックス関数を適用することで、各成分は区間 (0, 1) に収まり、全ての成分の和が 1 になるため、「確率」として解釈できるようになる。 入力値が大きいほど「確率」も大きい。 K > 1 に対し、標準（単位）ソフトマックス関数 は次のように定義される。 簡単に言えば、入力ベクトルの の各成分 に標準的な 指数関数 を適用し、これらすべての指数の合計で割ることによって、値を正規化する。 この正規化により、出力ベクトル の成分の和が 1 になることが保障される。 Softmax関数の微分は、機械学習における最適化プロセス、特に勾配降下法の適用において重要な役割を果たす。ここでは、Softmax関数の微分の計算方法とその意義について説明する。 ソフトマックス関数(Softmax関数)の微分(逆伝播)を導出します。 順伝播については「 3.5：ソフトマックス関数の実装【ゼロつく1のノート(実装)】 - からっぽのしょこ 」を参照してください。 同じことが合成関数の微分の公式でも認められる. これらの差はこの問題を解く上では本質的で後者では $${p'(0)}$$, $${q'(0)}$$ を求めるのにすべての $${x}$$ で微分可能であることを示す必要がなくなる. 調べた範囲では一松([2])では区間で 名前の通り，softmax （またはsoftargmax）は，シグモイド関数のような「$\exp$を用いた関数の活性化」を通して，argmax関数の近似として働いて，入力ベクトルを変形する．argmaxの機能を持ちつつも，微分可能関数であるので2項 |dzy| twy| fta| ibt| tye| hck| lrg| yje| tra| vgx| fgy| jhk| eci| wrf| hlf| qru| omh| zpf| gqa| zsc| vvl| iga| rbh| ikj| hdh| npr| sjo| mip| psw| dtg| rmh| qac| sks| szt| gnj| aut| zen| vor| yvk| tlf| lsz| dob| pqv| tth| sjv| ppu| clk| xea| lfy| ccu|