Xavierの初期値とHeの初期値
Xavierの初期値とHeの初期値は、ニューラルネットワークの重みを初期化するための方法です。これらの初期化方法は、モデルの学習の効率性や性能に影響を与えることが知られています。
Xavierの初期値
点対称で中央付近で線形関数に良いと言われている。 http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
見かけ上の標準偏差
np.sqrt(2 / (n1 + n2))
Heの初期値
広がりを持った初期値となる。
https://arxiv.org/pdf/1502.01852.pdf
見かけ上の標準偏差
np.sqrt(2 / n1)
ReLU関数の場合
ReLU関数の場合、Xavierの初期値よりHeの初期値の方が良いと言われています。
Xavierの初期値の場合は0付近に偏ってしまいますが、Heの初期値の場合は2,3の方向へと広がります。
Xavierの初期値とHeの初期値は、畳み込みニューラルネットワークや全結合ニューラルネットワークなど、さまざまな種類のネットワークで一般的に使用される初期化手法です。これらの初期化手法は、勾配消失や勾配爆発などの問題を緩和し、ネットワークの学習を安定化させる効果があります。
