AI用語集 / コンテンツモデレーション

🛡️ 安全性と品質

AIにおけるモデレーションとは、暴力、性的コンテンツ、ヘイトスピーチ、自傷行為などの禁止カテゴリに該当しないか、コンテンツを自動でチェックすることです。ユーザーの入力とモデルの生成内容の両方がフィルターの対象となり、モデレーションシステム自体にもAIモデルが使われます。 アプリ開発者向けに、各社は専用のモデレーションツールを提供しており、メインモデルの前後に組み込むとよいでしょう。ユーザーにとっては、誤検知がストレスの原因になることがあります。無害でも、曖昧な表現の依頼を拒否するのは、モデレーションシステムです。