Kimi K3.1 Pro 日本語実力テスト：Claude Opus 5.5やGPT-6 Astraとの12課題徹底比較

更新（2026年11月9日）：Claude Fable 5.2とMythos 5.2がリリースされ、料金・提供範囲・ベンチマークはClaude Fable 5.2まとめで解説しています。

👁 121閲覧数

2026年10月24日、私はKimi K3.1 Proの日本語運用能力を測定するため、日本の商習慣や言語仕様に根ざした12の独自課題による実測テストを実施しました。OpenRouter経由でClaude Opus 5.5、GPT-6 Astra、Gemini 4 Argon、DeepSeek V4.1 Flash 1017と同一条件で比較した結果、Kimi K3.1 Proは72点満点中56.0点で5モデル中5位となりました。ビジネスメールの敬語や軽減税率の計算で満点を取る実力を示した反面、APIエンドポイント（moonshotai/mxfp4）において、指示と無関係な中国語テキストを返す致命的なエラーが2件発生しています。

• 総合スコア：56.0 / 72点（参加5モデル中5位、12課題のAPI実行コストは0.164 USD）
• 得意な領域：納期遅延のお詫びメール（敬語）、ローカルニュース要約、消費税計算（10%/8%）、日付・数値フォーマット、論理パズル、JSON抽出、日本のローカル知識の7課題で満点（6.0/6点）を獲得
• 致命的な弱点：翻訳課題と長文読解（約3万トークン）の2課題で、課題と全く無関係な中国語の応答を出力し0点を記録
• 日本語の細かな減点：誤り訂正課題で自分の母親に対する尊敬語（言ってくださいました）の誤用を見落とし、言葉遊びの自作ダジャレでは漢字の使い分け（書と描）で減点
• 処理速度：中央値85 tok/s（12課題の合計所要時間228秒）で、今回の検証環境では5モデル中最も遅い結果

日本語テストの設計と評価方法（2026年10月24日実施）

今回の検証は、単なる英語ベンチマークの翻訳ではなく、ゼロから日本語で書き下ろした12の実務・言語課題で構成されています。このテストは10言語（各12課題・計120課題）で実施したプロジェクトの一部であり、日本語版には日本の企業名、通貨（日本円の端数処理なし）、国税庁（nta.go.jp）の基準に基づく消費税率（標準10%・軽減8%・ケータリング10%）、そしてマイナンバー（個人番号）のチェックデジット検証コードなどを組み込みました。モデル全体の概要や他言語の検証結果については、Kimi K3シリーズの総合ハブページで確認できます。

各課題は3つの評価基準（各0-2点）で採点され、1課題あたり6点満点、12課題合計で72点満点となります。計算、日付の正規表現、論理パズル、JSONパース、ローカル知識、Pythonコードの単体テスト（隠しテストケースでの実行）は自動採点としました。一方、ビジネス文書、慣用句、要約、翻訳、コード内の日本語コメント、文章校正の自然さについては、AI審査員によるブラインド評価を採用しています。

審査員の公平性を保つため、評価対象モデルと同じファミリーの審査員は除外しました。具体的には、GPT-6 Astraの回答はGemini 4 Argonのみで採点し、Gemini 4 Argonの回答はGPT-6.1 Solのみで採点しています。Kimi K3.1 ProやClaude Opus 5.5などその他のモデルについては、GPT-6.1 SolとGemini 4 Argonの両審査員の平均点を採用しました。すべてのテストはOpenRouterのAPIを通じてシステムプロンプトを日本語に統一し、reasoning effortを「medium」、max_tokensを16,000に設定した上で、1課題につき1回のみ（シングルラン）実行しています。

なお、方法論上の透明性として2点補足します。第一に、今回の課題セットと採点基準の原案はClaude Opus 5.5上で動作するエージェントを用いて作成されたため、独立した人間によるベンチマークではなく、Opusの文体や出力傾向に有利に働くバイアスの可能性を否定できません。第二に、日本語の論理パズル（課題h）において、初回実行時に選択肢リストの一部が問題文に出力されておらず解答不能となる不備が見つかったため、問題文を修正した上で日本語の全モデルについて課題hを再実行しています。

日本語総合ランキング：Kimi K3.1 Pro 対 競合4モデル

予算とモデル構成の都合上、日本語テストは主要5モデルでの比較となりました。すべてのリクエストはフォールバックなしの固定エンドポイント（provider.only）で実行しています。以下の表は、日本語12課題における最終スコアとOpenRouter上の実測コスト、および使用エンドポイントの一覧です。

1課題1回限りの試行であるため、1-2点程度の差は実質的な引き分け（誤差範囲）と見るべきです。Claude Opus 5.5（71.5点）とGPT-6 Astra（70.0点）、あるいはGemini 4 Argon（67.0点）とDeepSeek V4.1 Flash 1017（66.0点）は、このテスト規模ではほぼ同等の水準にあります。しかし、Kimi K3.1 Proの56.0点は上位陣から10点以上離されており、明確な差がつきました。

生成速度と所要時間についても触れておきます。Kimi K3.1 Pro（moonshotai/mxfp4）は中央値85 tok/s、12課題の合計応答時間が228秒でした。Claude Opus 5.5（151 tok/s・104秒）、Gemini 4 Argon（113 tok/s・108秒）、DeepSeek V4.1 Flash 1017（335 tok/s・48秒）と比較して最も遅い数値です。なお、GPT-6 Astraは日本語テストにおいて低価格なopenai/flexエンドポイントを使用したため（371 tok/s・44秒）、標準エンドポイントと速度を直接比較することはできません。また、最大20並列でリクエストを送信したため、応答時間はあくまで目安となります。ポーランド語テストでのみ検証した「Kimi K3.1 Pro Highspeed」エンドポイントは日本語では未検証であり、他言語での速度や品質をここから推測することはできません。

課題別スコア比較とKimi K3.1 Proの得意・不得意

Kimi K3.1 Proがどの課題で得点を伸ばし、どこで落としたのかを詳細に見ていきます。以下の表は、全12課題におけるKimiの得点と、競合モデルの最高得点を並べたものです。

今回のテスト全体の特徴として、計算（e）、書式（f）、論理パズル（h）、JSON抽出（i）、ローカル知識（j）といった自動採点課題では、ほぼすべてのモデルが6.0点の満点を取って飽和状態となりました。Kimi K3.1 Proもこれらの定型処理や知識問題、さらにニュース要約（c）において完璧に処理できています。マイナンバーの検証コードを書く課題（g）でも、Pythonコード自体はすべての正常値・異常値テストをクリアしました（ただし、コード内の日本語コメントで重み付けの算出や余りの計算に関する説明が不足していたため、両審査員から1点減点され5.0点となっています）。

実際の出力引用：無関係な中国語エラーと日本語の細かなニュアンス

Kimi K3.1 Proの評価を大きく引き下げたのは、正常に日本語を生成した際の細かなミスと、そもそも課題が成立しなかった2件の異常応答です。実際の出力から具体的な箇所を引用して検証します。

1. 翻訳（課題d）と長文読解（課題k）での無関係な中国語出力（各0.0点）

日英・英日のビジネス翻訳を求める課題dにおいて、Gemini 4 Argonらが「出る杭は打たれる」を含む皮肉な職場会話や「あいにくその日は先約がございます」といった丁寧な断り文句を正確に訳出したのに対し、Kimi K3.1 Proは以下のような中国語のテキストを出力しました。

已读完。章末把“祭坛符号”推进到“本地生产或转运”的线索，同时抛出慕维身份与“黑羊印记”的疑点，悬念落点很清楚。

你希望我下一步做哪种：续写第28章、润色本章、检查逻辑与伏笔，还是整理人物关系和时间线

プロンプトには小説の話など一切含まれていませんが、Kimiはどこかの小説の第28章に関する編集提案を中国語で返してきました。さらに、マンション管理組合の議事録（約21,000-30,000トークン）から駐輪場の現在の暗証番号（9068）や大和ルーフ工業の遅延違約金（37,500円）などを探し出す課題kでも、競合4モデルがすべて満点を取る中、Kimiは以下の中国語を返して0.0点となりました。

这段文字没有明确的问题或可执行请求，主要是免责声明和零散片段。请直接说明你希望我做什么（例如翻译、总结、提取信息或判断指令含义）；如果涉及下单、付款或发送信息，还需要明确授权与具体内容

「このテキストには明確な質問や実行可能なリクエストがない」という旨の中国語メッセージです。実はこの現象は日本語テストだけでなく、10言語・120課題のテスト全体でKimi K3.1 Pro（moonshotai/mxfp4エンドポイント）にのみ計8回発生しました（イタリア語やドイツ語などでも同様に無関係な中国語や別言語のメールが出力されています）。他言語の失敗ケースに対して行ったランキング外の診断用再実行では、Highspeedエンドポイントで正常に満点を取った例もあり、モデル自体の能力というよりは標準エンドポイント（moonshotai/mxfp4）のサービングやコンテキスト処理の不安定さが原因とみられます。なお、日本語で無関係な出力となった2課題を除いた10課題（60点満点）で診断的に集計すると、Kimiは56.0/60点となり、Gemini 4 Argon（55.0/60点）を上回ってClaude Opus 5.5（59.5/60点）に迫る計算になりますが、API利用者が実際に受け取った初回応答を評価するルール上、公式スコアは56.0/72点のままとしています。

2. 誤り訂正（課題l・4.0点）とダジャレ（課題b・5.0点）に見る日本語力

正常に日本語で応答した課題では、Kimiの特性がよく表れています。例えば、7つの誤りを含む日常文を校正する課題l（Kimi 4.0点、Gemini 4 Argon 6.0点）では、Kimiは助詞の誤り（「店を閉まっていた」→「店が閉まっていた」）、誤字（「雰因気」→「雰囲気」、「以外と」→「意外と」）、ら抜き言葉（「見つけれる」→「見つけられる」）など6箇所を的確に修正し、訂正一覧も出力しました。しかし、修正後の本文に次の1文がそのまま残っていました。

母も「一緒に行こう」と言ってくださいました

書き手が自分の母親の言動を述べる場面であり、身内に対して尊敬語の「くださる」を使うのは誤りです。ここはGemini 4 Argonなどが正しく直したように「言ってくれました」とすべき箇所でした。Kimiは文脈を壊さず自然な校正を行いましたが、ウチ・ソトの関係に基づく敬語の誤用を1つ見落としたため4.0点となりました。

また、慣用句と言葉遊びの課題b（Kimi 5.0点、GPT-6 Astra 6.0点）では、「猫の手も借りたい」「気が置けない」などの意味と例文、「布団が吹っ飛んだ」の解説までは完璧でした。最後の「『かき』を使った自作ダジャレと説明」において、Kimiは次のように回答しています。

牡蠣を柿で書きました。」  
   説明：「牡蠣」「柿」「書き」をすべて「かき」と読める同音異義語として重ね、柿で牡蠣の絵を描いたという意外な情景を作っています

説明文で自ら「牡蠣の絵を描いた」と述べているにもかかわらず、ダジャレ本文では「書きました」と表記してしまった点、および柿を使って絵を描くという設定の不自然さがAI審査員双方から指摘され、1点減点の5.0点となりました（対照的にGPT-6 Astraは「夏期休暇ならぬ『牡蠣休暇』を取った」という自然なダジャレで満点を獲得しています）。

3. ビジネスメールと敬語（課題a・6.0点）での高い完成度

一方で、定型的なビジネスコミュニケーションにおけるKimiの日本語は非常に優秀です。取引先（株式会社北斗電機 購買部 山田様）に対し、部品（型番MS-220、500個）の納期遅延のお詫びと分納（10月30日までに200個、11月6日に残り300個）を打診する課題aでは、Kimiは6.0点満点を獲得しました。以下はその出力の抜粋です。

なお、200個は10月30日までに先行して納品いたします。誠に恐れ入りますが、残り300個を11月6日に納品する分納案でよろしいか、ご確認のほどお願い申し上げます。

ご迷惑をおかけしますことを、重ねて深くお詫び申し上げます。今後は仕入先を含めた管理体制を見直し、再発防止に努めてまいります

件名、宛名、お詫び、原因（仕入先の設備故障）、分納の具体的な日程と数量、再発防止への言及まで、日本の商習慣に照らして全く違和感のないビジネスメールに仕上がっています。

実務への示唆と今回のテストの限界

今回の結果から言える実務上のポイントは明確です。Kimi K3.1 Proは、正常に応答が返ってきた10課題だけで見れば56.0/60点（得点率93.3%）を記録しており、日本の消費税計算、お詫びメールの作成、JSON抽出、ニュース要約といった日常業務を十分にこなす日本語能力を備えています。しかし、OpenRouterのmoonshotai/mxfp4エンドポイントを経由した際、12回中2回という無視できない頻度でプロンプトを無視した中国語テキストが返ってきたことは、業務システムや自動化パイプラインに組み込む上で大きなリスクとなります。API経由で利用する場合は、出力言語の判定や再試行（リトライ）の仕組みを実装することが不可欠です。

一方で、このテスト結果を解釈する際には以下の限界に留意してください。

• Webアプリ版との違い：今回の検証はすべてOpenRouterのAPI（moonshotai/mxfp4）経由で行いました。Kimiの公式Web UI（ブラウザ版）で同じテストを行ったわけではなく、APIエンドポイント特有の不具合がWebアプリ版でも同様に起きるとは限りません。
• 一般化の制限：本記事のデータは日本語の12課題・1回試行のみの結果です。この結果をもって他言語の性能や、あらゆる日本語タスクにおける絶対的な優劣を断定することはできません。
• 審査員と課題設計の限界：AI審査員（GPT-6.1 SolとGemini 4 Argon）は全体の89%のペアで評価が一致したものの、判断が揺れる可能性は残ります。また前述の通り、課題作成にClaude Opus 5.5のエージェントが関与している点も考慮が必要です。

こうした特性や注意点を踏まえた上で、ご自身の環境でKimiの動作を試してみたい場合は、Kimiの公式サービス案内ページから詳細を確認できます（本リンクはアフィリエイト広告を含みます）。

よくある質問（FAQ）

Q1. Kimi K3.1 Proが日本語のテストで5位（最下位）になった最大の理由は何ですか？

翻訳（課題d）と長文読解（課題k）の2課題において、指示された日本語タスクを実行せず、課題と無関係な中国語の文章を出力して0点（計12点分のロス）となったことが最大の要因です。日本語で正常に応答した残り10課題では60点満点中56.0点を獲得しており、日本語の言語能力自体が極端に低いわけではありません。

Q2. ビジネスメールの敬語や日本の商習慣には対応できますか？

納期遅延のお詫びと分納を提案するビジネスメール作成（課題a）では6.0点満点を獲得し、日本の消費税（標準10%・軽減8%）の計算（課題e）や元号を含む日付・数値フォーマット（課題f）でも満点でした。ただし、誤り訂正（課題l）では自分の母親に対する尊敬語（「言ってくださいました」）の誤用を見落とすなど、ウチ・ソトが関わる複雑な敬語の校正では一部取りこぼしが見られました。

Q3. コストパフォーマンスや処理速度は競合モデルと比べてどうですか？

今回の日本語12課題におけるOpenRouterでの実測コストは、Kimi K3.1 Proが0.164 USDでした。これはClaude Opus 5.5（0.302 USD）やGPT-6 Astra（flexで0.231 USD）よりは安価ですが、より高得点を記録したGemini 4 Argon（0.087 USD、67.0点）やDeepSeek V4.1 Flash 1017（0.021 USD、66.0点）と比べると割高です。また、出力速度の中央値は85 tok/s（合計228秒）で、比較した5モデルの中で最も時間がかかりました。

Q4. 無関係な中国語が出力される問題は、Kimiの公式Webサイトでも起きますか？

今回のテストはOpenRouterのAPI（moonshotai/mxfp4エンドポイント）を介して実行したものであり、Kimiの公式Web UIはテストしていません。他言語の診断テストでは別エンドポイント（Highspeed）で正常に回答できたケースもあるため、APIのサービング環境に起因する可能性が高く、Webアプリ版の挙動と同一視することはできません。

出典・参考資料

本記事に掲載しているスコア、引用文、処理速度、およびコストの数値はすべて、2026年10月24日に私が独自に作成した日本語12課題を用いてOpenRouter API経由で実行・計測した一次データに基づいています。モデルの背景情報や公式のAPI仕様については、以下の公式ドキュメントを文脈理解の参考としています（今回の独自テスト結果の出所ではありません）。

• Kimi公式ブログ：Kimi K3.1 Proの概要
• Kimi APIプラットフォーム：チャットモデルの仕様・料金ドキュメント

// 続きを読むClaude APIの使い方と料金：APIキー取得から初回リクエストまでAIツールClaude Desktopの使い方とインストール方法、利用制限AIツールClaude Opus 5.5とFable 5.1を比較、2.5倍の価格差に見合う？AIツール