GPT-6.1 Terraのcomputer useを検証：画面を見て申込フォームを入力

👁 113閲覧数

OpenAIはGPT-6.1 Terraを「正確なcomputer use」を実現するモデルとして紹介し、スクリーンショットをもとにコンピューターを操作する用途の例にフォーム入力を挙げています。そこで、2ページ構成のリース申込フォームで検証しました。モデルに見せたのは画面のスクリーンショットと、ひっかけを含む顧客からのメールだけです。クリックや文字入力などの操作は、毎回ブラウザーで実行しました。Terraは4回中4回、毎回19ステップでフォームを正しく入力し、所要時間は1分未満、費用は約0.047 USDでした。

OpenAIが発表している機能

2026年10月26日の発表で、OpenAIはTerraを、正確な視覚的推論と精密なコンピューター操作を組み合わせた高速モデルとして説明しています。用途の例にはフォーム入力があり、APIの例には請求書を読み取って会計ソフトにデータを入力する作業があります。実際のオペレーティングシステム上でタスクを行うOSWorld 2.1のテストでは、mediumのTerraがGPT-5.6 Terraの最高スコアを上回るとしています。数値はグラフでのみ示されています（OpenAIによる説明）。

APIでコンピューターを操作する機能はcomputer_useツールで、Responses APIからのみ利用できます。今回はOpenRouter経由でテストしたため、より簡単な処理ループを用意しました。モデルにスクリーンショットを渡し、JSON形式で1つの操作を返してもらい、スクリプトがPlaywrightで実行してから次のスクリーンショットを取得します。これはOpenAIの完全なツールではありませんが、モデルが入力欄を正しく見つけ、データを理解できるかを検証できます。

フォームと、ひっかけを含むメール

フォームは独自に作成しました。1ページ目には個人情報と住所、2ページ目には金額、リース期間、対象物、同意欄を配置しています。地域と期間のリストは通常の選択欄ではなく独自のドロップダウンなので、クリックして開き、選択肢を指定する必要があります。入力欄には検証ルールがあり、電話番号は空白なしの9桁、納税者番号はハイフンなしの10桁で入力します。

モデルは顧客メールからデータを取得しました。テストには次のひっかけを含めています。以下は、実際にポーランド語で行ったテストに使った文面の日本語訳です。日本語に訳した例で再テストしたものではありません。

• 「電話番号：601 234 567 - いえ、すみません。その番号は仕事用です（中略）。個人用の番号を使ってください：512 900 118」- フォームには512900118と入力する必要があります。
• 「納税者番号 521-301-72-28」- 欄にはハイフンを除いて入力します。
• 「カッティングプロッター（中略）、リース期間は3年」- 対象物は機械・設備、期間は36か月です。
• 「マーケティングの案内は送らないでください」- マーケティングへの同意欄は空欄のままにし、必須の個人データ保護への同意欄にはチェックを入れます。
• メールには地域名がありません。郵便番号20-346とルブリンから推測する必要があります。

モデルへの指示は数文にまとめました。返答は次のいずれかの形式による、単一のJSONオブジェクトです。

{"action":"click","x":123,"y":456}
{"action":"type","x":123,"y":456,
 "text":"..."}
{"action":"scroll","dy":300}
{"action":"done"}

Terraの操作手順：19ステップ

Terraがmedium設定で行った最初のテストについて、操作を順番に示します。座標は1280 x 800ピクセルの画面上のものです。入力内容は、ポーランド語で実施した元のテストの日本語訳です。

1. 入力 (412,140) "Tomasz"
2. 入力 (792,140) "Wierzbicki-Nowak"
3. 入力 (408,203) "88030312342"
4. 入力 (789,202) "5213017228"
5. 入力 (420,277) "512900118"
...
10. クリック (810,417) 地域のリスト
11. クリック (690,501) "ルブリン県"
12. クリック (301,461) "次へ"
13. 入力 (401,140) "24600"
14-15. クリック 期間のリスト、"36か月"
16-18. クリック "機械・設備"、
      個人データ保護への同意、"送信"
19. 完了

Terraに余計な操作はありませんでした。各欄を一度で入力し、入力検証に一度も引っかからず、マーケティングへの同意にもチェックを入れませんでした。電話番号は個人用を使い、納税者番号はハイフンを除き、地域も自分で選択しました。1ステップあたりの平均所要時間は2.6秒で、各ステップの入力トークン数は1700〜2060でした（スクリーンショットと操作履歴を含む）。続けて行った3回のテストも同じ結果で、そのうち1回はlow設定でした。ステップ数も結果も変わりませんでした。

一点、すべてのモデルがメールアドレスを大文字を含めてそのまま入力しました：「T.Wierzbicki@Studio-Lipa.pl」。フォームでは大文字と小文字を区別していなかったため問題ではありませんが、利用するシステムが区別する場合は、指示に明記してください。

各モデルのテスト結果

• SolはTerraとまったく同じ処理を同じステップ数で完了しましたが、費用は約2倍でした。
• Lunaは1回の試行で最初に誤った地域を選びましたが、自分でリストを開き直して修正しました。そのため21ステップになりました。費用はTerraの10分の1でした。
• Gemini 4 Argonはピクセル座標を使った指示では入力欄を外し、最初の名前を3回、別々の場所に入力しました。40ステップを終えてもフォームを送信できませんでした。ただし、これはモデルそのものの問題ではありません。Argonは0〜1000のスケールで座標を指定します。指示の一文を変更し、座標のスケールを換算すると、すべて正しく入力できました。この試行錯誤には約1 USDかかりました。

実際の利用で分かったこと

独自のドロップダウンや入力検証があっても、単純なフォーム入力はTerraにとって定型的なタスクでした。結果はより高価なSolと同等で、費用は半分ほどでした。同じ申込書を1000件処理する場合、モデルの費用だけで約47 USDです。Solでは約94 USD、Lunaでは約5 USDになります。

このテストでは、広告やCookieのポップアップ、CAPTCHAがある実際のウェブサイト、複数のサイトにまたがる長いタスク、Responses APIの完全なcomputer_useツールは検証していません。ChatGPTではWorkモードが同様の作業を行います。詳しくはChatGPT Workとはをご覧ください。OpenAIが開発者向けにcomputer useを提供する方法については、OpenAIのAgents APIで説明しています。ポーランド語で行ったテストを含むTerraのその他の結果は、GPT-6.1 Terraガイドにまとめています。

よくある質問

GPT-6.1 Terraはコンピューターを操作できますか？

はい。発表されている主要機能の一つです。今回のテストでは、2ページのフォームにある15項目を4回中4回、誤クリックなしで入力しました。

Terraのcomputer useはいくらかかりますか？

費用はトークン数に応じて決まります。スクリーンショットと履歴を合わせると、1ステップあたり約2000入力トークンです。今回のフォームは19ステップで、1回あたり0.046〜0.048 USDでした。

フォームの自動化にはTerraとLunaのどちらが向いていますか？

単純なフォームではLunaも15/15項目を正しく入力し、費用は約0.005 USDでした。ただし、1回は選択肢を間違えて修正しています。Terraはより速く、修正もありませんでした。

OpenRouter経由でcomputer useを使えますか？

スクリーンショットを送り、JSON形式で操作を受け取る方法は、通常のチャットAPI経由で動作します。今回のテストもこの方法で行いました。OpenAIのcomputer_useツールにはResponses APIが必要です。

出典と確認日

• OpenAI：GPT-6.1 Terraの発表 - computer use、フォーム、OSWorld 2.1（2026年10月26日閲覧）
• OpenAI API：GPT-6.1 Terraモデル - computer_useツールとResponses APIの要件（2026年10月26日閲覧）
• 独自のHTMLフォーム、Playwright（Chromium、1280 x 800）、OpenRouterを使用。推論設定はmedium（Terraの1回はlow）。2026年10月26日、約21:05〜21:30にテスト。合計11回、総費用1.49 USD。

// 続きを読むAI動画生成モデル比較ランキング：同じプロンプトで6モデルを検証ベンチマークGoogle EarthのAI生成機能は24時間で停止、衛星画像への信頼はいくらかベンチマークElevenLabs Dubbingの使い方と料金、v1・v2を比較テストベンチマーク