AI用語集 / RLHF

🏗️ モデルと学習

RLHF（人間のフィードバックによる強化学習）は、人間の評価をもとにモデルを学習させる段階です。人間がモデルの複数の回答を比較して良いものを選び、その好ましい回答をより多く生成するようアルゴリズムがモデルを調整します。 RLHFや関連技術によって、単なる「テキスト予測器」は、質問に続きを返すのではなく答え、危険な依頼を断り、礼儀正しい口調を保つアシスタントへと変わりました。一方で、モデルが過度に迎合し、ユーザーに何でも同意するようになることもあります。