あなたのサイトのコンテンツを取得するのは誰？
AIボットはあなたのサイトを巡回し、学習用または回答での引用用に文章を取得します。この2つは別の用途なので、個別に制御できます。許可するボットを選ぶと、robots.txtとllms.txtの記述、サーバー向けの強力なブロック設定を生成し、現在のドメインの設定状況を確認します。
あなたのドメインが今日何を許可しているか確認
入力されたドメインから取得するのは、公開されている robots.txt と llms.txt の2つのファイルのみです。以下の各クローラーがこれらのファイルでどのように扱われるかを確認します。このセットの中で、ネットワークにアクセスするのはこのツールだけです。上限は1時間あたり20回です。
Kogo wpuszczasz
モデルの学習用にコンテンツを収集することと、検索エンジンの回答で引用することは別の話です。前者には何も得るものがありませんが、後者はサイトへの流入につながる可能性があります。そのため、1つのルールですべてをブロックするのではなく、分けて設定するのがおすすめです。
Wpisy do robots.txt
これを既存のファイルの末尾に追加してください。検索エンジンのクローラーに関するルールはそのままにしてください。これらの記述は検索エンジンには適用されません。
Blokada po stronie serwera
Plik llms.txt
ブロックとは逆の方法です。ドメインのルートに置く短いファイルで、モデルにサイトの内容や引用する価値のある情報を伝えます。強制力はなく、事業者間で合意された標準でもありませんが、作成には5分しかかからず、一部のツールが読み取ります。チャットの回答に表示されたいなら、用意しておく価値があります。
すべてをブロックする前に
ブロックすると流入も失われます
検索エンジンとして分類されたクローラーは、チャットがリンクを提示するためのインデックスを作成します。これらをブロックすると、あなたのサイトは回答に表示されず、競合サイトが表示されます。これは理論上の話ではなく、実際に発生する損失です。
Googleには2つの別々の仕組みがあります
Google-Extended はコンテンツのモデル学習への利用に関するもので、通常の検索順位には影響しません。通常の Googlebot は別の項目です。検索結果からの流入を重視するなら、こちらは変更しないでください。
リストは変わります
クローラーの名称は入れ替わり、運営者は告知なしに新しいものを追加します。この一覧は現時点の状況を反映しています。実際にサイトを訪れている相手を示すのはサーバーログなので、定期的に照らし合わせてください。