変分自己符号化器:VAE 1

変分自己符号化器（Variational Autoencoder, VAE）は、機械学習の一種で、特に生成モデルとして使われます。変分自己符号化器の基本的な考え方は、データを低次元の潜在空間に圧縮し、その空間からデータを再構成することにあります。

主要な構成要素

1. エンコーダー（Encoder）:

   • 入力データ（例えば、画像やテキスト）を潜在変数にマッピングします。
   • 通常の自己符号化器と異なり、VAEでは入力データを潜在空間の確率分布にマッピングします。この分布は多くの場合、ガウス分布として定義され、エンコーダーは潜在変数の平均（μ）と分散（σ²）を出力します。

2. 再パラメータ化トリック（Reparameterization Trick）:

   • 潜在変数を直接サンプリングするのではなく、確率分布からサンプリングするために、再パラメータ化トリックを使います。これにより、誤差逆伝播法を適用することが可能となります。
   • 具体的には、潜在変数 ( z ) は次のように表現されます： ( z = μ + σ \odot ε ) （εは標準正規分布からサンプリングされたノイズ）。

3. デコーダー（Decoder）:

   • サンプリングされた潜在変数 ( z ) から元のデータを再構築します。
   • このプロセスは潜在空間から観測データ空間へのマッピングを行います。

損失関数

VAEの学習における損失関数は、以下の二つの項から構成されます。

1. 再構成誤差（Reconstruction Error）:

   • 入力データと再構成されたデータとの間の差を測定します。通常は平均二乗誤差（MSE）やクロスエントロピーを用います。

2. KLダイバージェンス（KL Divergence）:

   • エンコーダーが出力する潜在変数の分布と事前分布（通常は標準正規分布）との間の差を測定します。これにより、潜在空間が良い特性を持つように制約します。

ここで、βは重みパラメータで、通常は1に設定されますが、調整可能です。

まとめ

変分自己符号化器（VAE）は、入力データを低次元の潜在空間に圧縮し、その空間からデータを再構成する生成モデルです。エンコーダーが入力データを確率分布にマッピングし、デコーダーが潜在変数からデータを再構成します。再パラメータ化トリックにより、確率的なサンプリングプロセスを実現し、損失関数には再構成誤差とKLダイバージェンスが含まれます。これにより、VAEはデータの構造を学習し、新しいデータを生成することが可能となります。

機械学習徹底理解 G検定 概要（前半）

www.youtube.com

深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 (2023/8/16 20:42時点) 感想(5件)