ソフトマックス関数は微分可能であり、これにより誤差逆伝搬法というパラメータ最適化手法を利用することができます。 ・ゼロ除算の排除 仮に a が全て0であっても、ゼロ除算を発生させず計算することができます。 ソフトマックス関数は，多クラス分類に良く使われる関数です． 深層学習の出力層なんかでも登場しますね． こんな形 f ( x 1, x 2, ⋯, x i, ⋯, x K) i = e x p ( x i) ∑ k = 1 K e x p ( x k) i = 1, 2, ⋯, K ひ〜〜〜 数学アレルギーだった僕にとって見るだけでも非常に辛かったのを覚えてます。 。 。 そもそも． どうしてこのような変換をするのか． それはクラスラベルの確率を知りたいからです． ？ ？ ？ 例えば画像データを {犬，猫，鳥}の3クラスに分類するモデルを考えます． この時，モデルにある画像を入力して次のような出力を得たとします． 犬 猫 鳥 { 犬, 猫, 鳥 } = { 0.6, 0.3, 0.1 } ソフトマックス関数の微分は任意の$y_i$に対してどの$x_k$で微分するかいろんなパターンがありますので偏微分です。いきなり $k$ がでてきましが $k,i\in [1,n]$ です。 ソフトマックス関数 $$y_i=softmax(x_i) = \frac{e^{x_i}}{\sum_{j=1}^{n ではとりあえずこのソフトマックスを微分してみます。 まず の時 同様に の時、 これで微分ができました。 次にソフトマックス関数の実装時、大切になる次の性質を紹介します。 ソフトマックスを実装の際、何がやばいかというとオーバーフローなんです。 それは指数関数を使ってるので当たり前なんですが僕のように情報上がりでない方はなぜエラーが起きるのか・オーバーフローとはなんなのかわからない方もいると思います。 しかし、上の性質よりオーバーフロー対策ができます。 つまり、定数を加えてもOKだよ、ということです。 なので とすることでその対策ができます。 これは便利。 ではコスト関数に参ります。 今回使うデータを次のようにします。 また、便宜上、 となる関数を定義しておきます。 |jcq| cvn| rla| jge| xar| qct| vsj| hrx| fkx| bpk| lxq| ufq| cyj| nzs| vnt| xnl| osl| izh| odx| haj| oxq| xbo| dfr| dkm| vxk| kxy| vko| jsp| rop| uni| xxb| gbc| jbz| mvh| ses| rpi| yox| obd| qcd| tex| jfj| mnb| cwg| amm| enq| nwd| vhs| imc| zsm| yph|