AI用語集 / Benchmark

🤖 エージェントとツール

ベンチマークとは、モデルを比較するための標準化されたテストです。数学、一般知識、プログラミング、言語理解などの課題を各モデルに解かせ、スコアを算出します。ベンチマークのおかげで、モデルXはモデルYよりコード生成が得意だと言えます。 ただし、結果は慎重に見る必要があります。よく使われるテストは、時間がたつと問題が学習データに含まれてしまうことがあり、開発元が評価指標に合わせてモデルを最適化することもあります。そのため、従来のベンチマークに加え、人間が匿名で評価するランキングや非公開テストも増えています。最も役立つベンチマークは、実際に取り組む自分の課題です。