解説する論文
タイトル: Black-Box Prompt Optimization: Aligning Large Language Models without Model Training
著者: Jiale Cheng, Xiao Liu, Kehan Zheng, Pei Ke, Hongning Wang, Yuxiao Dong, Jie Tang, Minlie Huang
論文のURL: https://arxiv.org/pdf/2311.04155.pdf
論文発表日: 2022年11月
専門外の人でも分かる解説
この論文は、大規模言語モデルを人の意図に合わせて調整する際に、モデルの再学習ではなくプロンプトの最適化に注目しています。モデルの出力から人の嗜好を推定し、それに合わせてプロンプトを改良することで、モデルを変更せずに人の意図に沿った生成ができることを示しています。ChatGPTなど様々なモデルで有効性を実証しており、解釈可能性や計算コストの面でもメリットがあるとしています。
要約
この論文は、大規模言語モデルの人の意図への整合を、モデル再学習ではなくプロンプト最適化(BPO)によって行う手法を提案する。モデルの出力から人の嗜好を推定し、それに合わせてプロンプトを改良することで、モデルパラメータを変更せずに整合を達成できる。ChatGPTなど様々なモデルで効果を実証し、PPOやDPOといった既存手法を上回ることを示す。BPOは解釈可能で効率的である一方、データ量や応用範囲に課題がある。プロンプトエンジニアリングとモデル学習は相補的なLLM整合手法であり、BPOは前者の自動化に新たな可能性を示した。
この論文の新しい点
課題点:
 | 深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第2版 （EXAMPRESS） [ 一般社団法人日本ディープラーニング協会 ] 価格:3,080円 |
