こんにちは！ノイです。
今日は自然言語処理で注目されているtransformerについてです。
Transformerは自然言語処理の核心部分であり、従来のNPLモデルの性能を大幅に上回りました。学習スピードが速いのが特徴です。
RNNやLSTM、CNNがなく、再帰が使われていません。再帰がattentionに置き換えられています。
入力
Transformerのエンコード側attentionサブレイヤーとフィードフォワードネットワークサブレイヤーを通過
出力
Transformerのデコード側2つのattentionサブレイヤーとフィードフォワードネットワークサブレイヤーを通過
YouTubeで動画を公開しています！
⬇️⬇️
