LLMのファインチューニングでできること、できないこと

LLMのファインチューニングによって課題に合わせた出力をしたいと思いますよね。できることできないことをまとめました。 https://note.com/npaka/n/nec63c01f7ee8 を参考にさせて頂きました。

LLMのファインチューニングで何ができて、何ができないのか

LLMのファインチューニングの目的
- 特定のアプリケーションのニーズとデータに基づき、モデルの出力の品質を向上させること。
- Few-Shot学習を改善するためにファインチューニングが行われる。
- LLMのファインチューニングは、「形式」の学習には効果的だが、「事実」の学習には不得意。
うまく機能するタスク
- チャットの改善: 会話履歴のデータセットで学習可能。
- 指示に従いやすさの改善: 特定の指示形式のデータセットで学習可能。
- モデル出力を任意の口調や文体に調整: 例として「ござる」口調やシェークスピアの文体に調整可能。
- モデル出力を任意の構造化データに調整: JSON、SQL、カテゴリIDなどの構造化データに調整可能。
うまく機能しないタスク
- 事実の学習: LLMのファインチューニングは事実の学習には不得意。
- 幻覚の軽減: ファインチューニングにより幻覚が増加する可能性がある。
ファインチューニング以外の手法
- プロンプトチューニング: エラーのパターンを分析し、プロンプトを変更。
- 例の選択: プロンプトの一部として応答例を記述。
- 検索拡張生成 (RAG): 事実をベクトルストアに保存し、質問に応じて事実を検索してプロンプトに追記。
- 人間のフィードバックからの強化学習 (RLHF): 人間からのフィードバックを元にした強化学習。