llms.txtはChatGPTに読まれる？13日分のサーバーログを調査

👁 111閲覧数

私のサイトには、230行、重要なページへのリンク170件を含むllms.txtがあります。WordPressで自動生成しているファイルです。2026年10月24日から11月5日までの13日分、サーバーログに記録された1,832,096件のアクセスを調べました。この期間、OpenAI、Anthropic、Perplexityのボットによるアクセスは合計6万1,000件を超えていました。では、llms.txtを取得した回数は？ 0回でした。

llms.txtは「ChatGPTでおすすめされるための施策」として、最初に挙げられることがあります。私のログはそれとは異なる結果を示していました。ここでは調査結果と集計方法、手元で確認するためのコマンドを紹介します。

llms.txtとは

llms.txtは、Jeremy Howardが2024年9月3日に提案し、llmstxt.orgで説明しているファイルです。サイトのルートディレクトリに/llms.txtとして配置する、Markdown形式のテキストファイルです。必須なのはサイト名を示すH1見出しだけです。その後に短い説明を引用形式で加えたり、言語モデルが先に読むべきページへのリンクをH2見出しとリストでまとめたりできます。メニューや広告、スクリプトを読み解かなくても、モデルが処理しやすい目次を渡せるという考え方です。

私のファイルは「# プロンプト情報サイト」で始まり、サイトの説明と、著者や方法を記した「情報源」セクションがあります。その後に、ツール、サービスのリアルタイム状況、価格、比較などのリンクをまとめています。全文を含むllms-full.txtもあり、サイズは7.34 MB、行数は80,795行です。

これは、いずれの組織が定めた標準でもありません。OpenAI、Anthropic、Perplexityのボットに関するドキュメントにも記載されていません。Googleはllms.txtについて明確に説明しているため、後ほど触れます。

サーバーログで分かったこと

サーバーは、IPアドレス、日時、パス、応答コード、ブラウザー識別情報であるユーザーエージェントを、アクセスごとに記録します。日ごとのログアーカイブから/llms.txt、/llms-full.txt、/robots.txtへのアクセスを抽出し、別途、AIボットによるサイト全体へのアクセスを集計しました。

llms.txtへのアクセスは95回、llms-full.txtへは22回でした。最も多く取得したのはSEO監査ツールのSEOJuiceで、26回です。次いでagentwebmap-botが15回、データセット収集クローラーのcode-docs-corpusが7回、Googlebotが4回でした。そのほか、複数のサイト監査ツールや、ファイルの見た目を確認したと思われる業界関係者などの一般ブラウザーからもアクセスがありました。

生ログには、GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBotなどからのアクセスもそれぞれ1回ずつ、ほかにも複数記録されていました。一見すると期待できそうな結果ですが、時刻を確認すると、すべてがポーランド国内の同一IPアドレスから13秒間に集中していました。2026年10月30日午前0時3分13秒から26秒までの間に、異なるボット名でアクセスがあったのです。これはファイル生成機能を整理していた際に、私自身が実行したアクセステストでした。本物のGPTBotがポーランドの家庭用回線からアクセスしたわけではありません。

[30/Oct/2026:00:03:13] "GET /llms.txt" 200 "... GPTBot/1.2; +https://openai.com/gptbot"
[30/Oct/2026:00:03:14] "GET /llms.txt" 200 "... OAI-SearchBot/1.0; +https://openai.com/searchbot"
[30/Oct/2026:00:03:16] "GET /llms.txt" 200 "... ClaudeBot/1.0; +claudebot@anthropic.com"
[30/Oct/2026:00:03:18] "GET /llms.txt" 200 "... PerplexityBot/1.0; +https://perplexity.ai/..."
（18種類のユーザーエージェント、1つのIPアドレス、13秒間）

この一連のアクセスを除くと、OpenAI、Anthropic、Perplexityのボットがllms.txtを取得した記録はありませんでした。逆の方法でも確認しています。OpenAIとPerplexityが公開している公式IPアドレスのリストを使い、llms.txtへのアクセスを絞り込んだところ、該当するIPからのアクセスは1件もありませんでした。

サイトにはアクセスしてもllms.txtは読まない

AIボットが私のサイトを知らないということではありません。同じ13日間の記録は次のとおりです。

* OpenAIおよびPerplexityが公開している公式IPアドレス範囲からのアクセスのみ。ClaudeBot、Claude-User、GPTBot、Googlebotの数値は、IPアドレスの照合は行わず、ボット名を示すユーザーエージェントで集計。期間：2026年10月24日〜11月5日。私のサイトのサーバーログに基づく。

OAI-SearchBotは3,484種類のURLに、PerplexityBotは3,774種類のURLにアクセスしました。どちらもGooglebotと同様に、サイトマップやリンクからページを見つけています。元のページを読んでいるのに、llms.txtの目次が必要なのでしょうか。

意外だったのは、OAI-SearchBotによる19,921件のアクセスのうち、ページへのアクセスは5,259件だけだったことです。残りはCSSファイルやスクリプト、そしてブラウザー上で動く私の独自アクセス解析への7,364回のリクエストでした。つまり、ChatGPTの検索ボットはJavaScriptとともにページをレンダリングしています。独自スクリプトでクリック数を測っている場合は、ボットによるアクセスが数字に含まれるため、除外する必要があります。

チャット利用者の代わりにページを読むボット

特に興味深いのはChatGPT-Userです。このユーザーエージェントは、ChatGPTで質問されたときに、回答のためモデルがサイトにアクセスすると現れます。13日間でOpenAIのIPアドレスから2,219回、790種類のページにアクセスしていました。最も多かったのはトップページの388回で、そのほかには選挙日程が56回、AIカレンダーが22回、ChatGPTのポーランドでの価格が18回、ChatGPT PlusとProの比較が14回でした。

傾向が見えてきます。質問に関連する情報が変わるとき、チャットはその情報を掲載するページを参照します。日付、価格、プランの比較などです。BingのデータについてCopilotがサイトを引用する仕組みを扱った記事でも、同じ傾向を確認しました。モデルに必要なのは、私が作った要約ではありません。確認日が記され、最新の数値が冒頭近くにあるページです。

偽装されたボットに注意

ログにはPerplexity-Userからのアクセスが540件ありましたが、PerplexityのIPアドレスからのものは1件もありませんでした。すべて/.env、/.env.production、/config/gcp-credentials.jsonのようなファイルを探していました。管理者が確認をせずアクセスを許可することを期待し、AIボットになりすましたスキャナーです。ChatGPT-Userを名乗る2,782件のアクセスのうち、563件もOpenAIからのものではありませんでした。

実用上の注意点は、ユーザーエージェントに「GPTBot」と書かれているだけでアクセスを許可しないことです。公式のIPアドレスリストと照合してください。照合できない場合は、その表示を証明ではなく申告として扱いましょう。

Googleの見解

GoogleのAI検索向け最適化ガイドによると、生成AI機能を含む検索結果に表示されるために、AI向けファイルやMarkdownファイルを作る必要はありません。検索ではそうしたファイルを利用しないためです。llms.txtについては、維持しても構いませんが、Googleは無視するため、Googleでの表示にプラスにもマイナスにもならないと説明しています。この記述は2026年6月にドキュメントに追加されました。また、その前年にはGoogleのGary Illyesが同じ見解を公に示していました。

Googlebotがllms.txtに4回アクセスしたことも、この説明とは矛盾しません。Googlebotはリンクで見つけたURLを取得するため、llms.txtにもアクセスしただけです。

llms.txtは残すが、費用はかけない

私はllms.txtを削除しません。自動生成され、誰にも害はなく、SEO監査ツールやいくつかの小規模なクローラーが読んでいるからです。将来OpenAIやAnthropicが利用するようになった場合にも、そのまま使えます。

しかし、「ChatGPTでおすすめされるためのllms.txt導入」を売り文句にしている人がいるなら、費用をかけすぎないよう注意してください。私のログでは、このファイルを読んでいるのは監査ツールで、モデルではありません。価格や日付を載せ、最初の段落で質問に答えるページを1時間かけて改善するほうが、このファイルより役立ちます。

ログから分かる、実際に効果が期待できることは次のとおりです。

• 必要なボットをブロックしない。チャット検索での表示には、OAI-SearchBotとPerplexityBotが関わります。robots.txtやホスティングのファイアウォールでブロックすると、検索インデックスから外れる可能性があります。学習用のGPTBotを許可するかどうかは、別途判断できます。
• ブロックのない高速なページを用意する。ChatGPT-Userは会話中にリクエストを受けてアクセスします。表示が遅いページや、「人間であることを確認してください」という画面を表示するページは、回答に使われない可能性があります。
• 変化する情報を具体的に示す。チャットがよく参照していたのは、日程、価格、プラン間の違いに答えるページでした。モデルが記憶していない情報は、ページから取得する必要があります。
• 推測せず、計測する。サーバーログは無料で確認でき、ボットがどのページを読んだか、利用者のリクエストに応じてどこにアクセスしたかを把握できます。

自分のサイトで確認する方法

ホスティングサービスが記録している、生のアクセスログが必要です。管理画面では通常、logsディレクトリから確認するか、アーカイブとしてダウンロードできます。最初は次の3つのコマンドで確認できます。

# 1. llms.txtを取得したアクセスを表示（アドレス、日時、ユーザーエージェント）
zcat access.log.gz | grep '"GET /llms' | awk '{print $1, $4, $NF}'

# 2. AIボットによるサイト全体へのアクセス数を確認
zcat access.log.gz | grep -c 'OAI-SearchBot'
zcat access.log.gz | grep -c 'ChatGPT-User'

# 3. 利用者のリクエストに応じてChatGPTが読んだページを確認
zcat access.log.gz | grep 'ChatGPT-User' | awk '{print $7}' | sort | uniq -c | sort -rn | head -20

最後に、IPアドレスをOpenAIの公式リスト（openai.comにあるchatgpt-user.json、searchbot.json、gptbot.json）およびPerplexityのリストと照合してください。これを行わないと、私が最初に集計したときのように、スキャナーまで数えてしまいます。

情報源と確認日

ログとファイルの確認日：2026年11月6日。

• 私のサイトのアクセスログ、2026年10月24日〜11月5日（1,832,096件のアクセス）。独自調査。
• llmstxt.org - Jeremy Howardによるllms.txtの提案、2024年9月3日
• Google Search Central - AI検索向け最適化ガイド（llms.txtに関する記述）
• OpenAI - OAI-SearchBot、GPTBot、ChatGPT-Userの説明とIPアドレスリスト
• Perplexity - PerplexityBotとPerplexity-Userの説明
• Anthropic - ClaudeBot、Claude-User、Claude-SearchBotの説明
• Search Engine Roundtable、2025年7月24日 - Gary IllyesによるGoogleはllms.txtに対応していないという説明

// 続きを読むChatGPTの10億ユーザーを支えるOpenAIのストレージ基盤AIの動向ChatGPT広告のターゲティング、メール・電話番号・プロンプトはどう使われる？AIの動向化学の勉強におすすめのAIは？ChatGPTの計算力を検証AIツール