確率的勾配降下法 確率的勾配降下法（Stochastic Gradient Descent, SGD）は、機械学習や深層学習において最適化アルゴリズムとして広く使われています。SGDは、勾配降下法（Gradient Descent）を基にしており、大規模なデータセットを扱う際に効果的です。 …

逆伝播の実装 逆伝播の実装について、以前、加算ノードと乗算ノードについて書きました。 https://engineernoi.hatenablog.com/entry/2023/06/17/131707 今回はソフトマックス関数とクロスエントロピー誤差関数の実装です。 ソフトマックス関数とクロスエン…

数値微分と誤差逆伝播によって求められる勾配は、計算方法や精度などの観点から異なる特徴を持ちます。そのため、両者に違いがあるのか確認する必要があります。差異がある場合には実装が間違っていることがあるので、デバッグにも使えます。 数値微分 微小…

順番付きの辞書（OrderedDict） 順番付きの辞書（OrderedDict）は、通常の辞書（dict）とは異なり、要素の追加順序を保持するデータ構造です。通常の辞書では、要素の順序は保証されていませんが、順番付き辞書では要素が追加された順序が維持されます。実は…