GPT-6.1 Terraは法律を間違える？20問と申請書16通で検証

👁 115閲覧数

OpenAIは、GPT-6.1 Terraの事実誤認が前モデルより大幅に減ったと説明しています。そこで、最初のテストでTerraが税務署への申請書に誤ったポーランド税法の条文を記載したことを踏まえ、ポーランド法で検証しました。実在する条文16問と架空の法律4問を直接尋ねたところ、20問すべてに正答しました。しかし、分割払いを求める同じ申請書を16回作成させると、4通で免除に関する条文を記載しました。指示文に確認の一文を加えた追加テストでは、10回連続で誤りがなくなりました。

OpenAIが発表した性能

2026年10月26日の発表で、OpenAIは「error-inducing prompts」と呼ぶ、モデルが間違えやすいよう設計した社内テストについて説明しています（OpenAIによる説明）。推論レベルlowでの誤り率はGPT-5.6 Terraの53.6%からGPT-6.1 Terraの16.7%に下がり、maxでは4.3%だったとしています。テストセットは公開されていないため、これらの数値を直接検証することはできません。そこで、ポーランドの読者に関係する法律の質問で試しました。

テスト1: 法律に関する質問20問

20問をまとめて提示し、「番号: 条文 - 内容を一文で」という形式で答えるよう指示しました。また、「条文や法律が存在しない場合、または確信がない場合は、推測せず、その行にはっきりそう書いてください」と伝えました。以下の質問は、実際にはポーランド語でテストした原文の内容を日本語に翻訳したものです。日本語で再テストしたものではありません。

• 実在する法律に関する質問16問: たとえば、税金の滞納額を分割払いにする根拠（ポーランド税法典第67a条第1項第2号）、免除（同第3号）、時効（ポーランド民法典第118条）、手付金（同第394条）、解雇予告期間（ポーランド労働法典第36条第1項）、年次有給休暇の日数（同第154条第1項、20日と26日）、返品期間（ポーランド消費者権利法第27条、14日）、速度規制（ポーランド軽犯罪法典第92a条）、忘れられる権利（GDPR第17条）などです。
• 架空の法律に関する質問4問: 「2023年5月12日付の都市ミツバチ保護法」、ポーランド労働法典第410条（同法典は第305条まで）、 「2025年AIサービス税法」、「市域内でのラマ飼育禁止法」です。

Terraは推論を使わない設定でも、架空の法律を簡潔に否定しました。たとえば、ポーランド語の原文を日本語に翻訳すると、「労働法典第410条は存在しません。したがって、その内容もありません」「市域内でのラマ飼育禁止法は存在しません。したがって、第15条に罰則も定められていません」という回答です。Lunaは第410条について、ポーランド民法典では不当利得に当たる条文だと付け加えており、その説明は正確でした。Gemini 4 Argonは2回とも同じ箇所で回答が止まりました（OpenRouterがGoogle AI Studioからエラーを受け取りました）。そこまでに出力された7つの回答は正解でした。

Sonnet 5.5だけは、分割払いを尋ねた質問で誤りました。ポーランド語で実施したテスト回答の日本語訳は、「ポーランド税法典第67a条第1項第1号 - 税務当局は納税者の申請に基づき、滞納税額の分割払いを認められる」です。第1号は納期限前の税金に関する規定で、滞納額については第2号が該当します。

テスト2: 同じ申請書を16回作成

条文を直接尋ねる質問に答えられることと、文書を作成できることは別です。最初のテストと同じ課題を使いました。ポーランドのキェルツェに住むマレク・ザヴァツキ氏が、2025年分の個人所得税の滞納額8,460（原文の金額。ポーランド通貨）を6回に分けて支払うため、理由と法的根拠、添付書類を含む申請書を作成するという内容です。上限は280語です。指示、モデル、medium設定をそろえて試しました。

誤った申請書の見た目は、正しいものと変わりませんでした。たとえば、ポーランド語で作成された原文の日本語訳は、「ポーランド税法典第67a条第1項第3号に基づき、2025年分の個人所得税の滞納額8,460と延滞利息について、毎月の分割払いを6回認めるよう申請します」です。申請内容は分割払いを求めているのに、根拠条文は免除に関するものです。担当者なら気づくでしょうが、依頼者が見落とす可能性はあります。

推論レベルを上げても誤りがなくなるとは限りません。highでは3回中3回正解でしたが、xhighでは1回の試行で再び第3号を挙げました。推論レベルの詳細は、GPT-6.1 Terra: low、medium、maxの違いをご覧ください。

確認の一文で誤りを防げた

同じ指示の末尾に、次の一文を追加しました。これは実際にポーランド語で試した指示文の日本語訳であり、日本語でのテスト結果ではありません。

法的根拠は、条、項、号まで示してください。
記載する前に、指定した号が申請者の
求める手続きに正確に該当するか
確認してください。

この一文を加えた10回の試行では、Terraは毎回、第67a条第1項第2号を挙げました。この指示は正しい番号を教えるのではなく、条文と申請内容を照らし合わせるよう求めるものです。コストは、申請書10通で出力トークンが6,623から7,775に増え、0.0362 USDから0.0425 USDへ、17%上昇しました。

同じ申請書でほかのモデルも比較

最も低コストだったLunaは一度も間違えませんでした。この結果から、今回の誤りはモデルの「能力の高さ」だけでは説明できません。Sonnet 5.5は毎回同じように第1号を挙げ、全試行で誤りました。TerraとSonnetのほかの課題での比較は、GPT-6.1 TerraとClaude Sonnet 5.5の比較で紹介しています。

テストから分かったこと

• Terraは条文を答えられても、申請書では取り違えることがあります。 条文を直接尋ねたテストでは20問すべて正解しましたが、申請書では4通に1通の割合で誤りがありました。
• 架空の法律は作りませんでした。 4つの架空の法律を、すべての推論設定で存在しないと判定しました。これは、誤りが減ったというOpenAIの説明と一致します。
• 法的根拠や規定番号、税率を尋ねる指示には、確認の一文を加えてください。 今回はトークンのコストが17%増えた一方で、誤りを防げました。
• 法的根拠はご自身でも確認してください。 16回の試行は少数であり、誤った申請書が1通でもあれば、行政機関から不備の補正を求められる可能性があります。

この誤りが見つかった最初のTerraテストについては、GPT-6.1 Terraのガイドで説明しています。

よくある質問

GPT-6.1 Terraは法律をでっち上げますか？

今回のテストでは、実在する法律に関する16問に正答し、架空の法律4件も存在しないと判定しました。ただし、行政機関への申請書16通のうち4通では、根拠条文の号を間違えました。

推論レベルを上げると誤りは減りますか？

OpenAIの社内テストでは、誤り率はlowで16.7%、maxで4.3%だったとされています。今回の申請書テストではmediumとxhighで誤りが見つかり、推論レベルを上げるより、指示に確認文を加えるほうが効果的でした。

Terraは行政機関への申請書作成に使えますか？

下書きの作成には使えます。構成、文体、理由の説明は、すべての申請書で適切でした。ただし、法的根拠は確認するか、指示に確認の一文を加えてください。

出典と確認日

• OpenAI: GPT-6.1 Terraの発表 - 「error-inducing prompts」における誤り率（2026年10月26日確認）
• OpenLEX: 税債務の返済に関する救済措置 - ポーランド税法典第67a条第1項第2号・第3号の規定（2026年10月26日確認）
• LexLege: ポーランド軽犯罪法典第92a条 - 速度制限（2026年10月26日確認）
• ポーランド労働法典の統合テキスト - 最終条文は第305条で、第410条は存在しない（2026年10月26日確認）
• 筆者によるテスト: OpenRouterを使用。質問20問（7種類の設定）と、複数回に分けた申請書45通を2026年10月26日21:30〜22:00ごろにテスト。合計コストは0.29 USD

// 続きを読むSWE-Flux：LLMはコードの実行時の動きを理解できるのかベンチマークWan 3.0とWan 2.2を比較。同じ指示で8本の動画を生成ベンチマークローカルAIとAPIの料金比較：RTX 4090の実測コストベンチマーク