ボット管理
ボット管理を使用すると、検出されたボットトラフィックがソースのレンダリング容量をどのように使用するかを制御できます。ルールに一致するリクエストに対して新しいレンダリングを停止しますが、すでにキャッシュされた画像はCDNから引き続き配信される場合があります。
ボット管理の有効化
ボット管理はデフォルトで無効になっており、ソースごとに有効にする必要があります。有効にするには、ソースの編集ページを開き、ページ右下のボット管理パネルで Enable Bot Management をオンにしてください。
有効にすると、すべてのルール設定が利用可能になります。
カテゴリルール
カテゴリルールを使用すると、ボットのグループ全体に対して単一のルールを設定できます。将来そのカテゴリに追加されるボットにも適用されます。各カテゴリにはドロップダウンがあり、No rule（ルールなし）、Allow（許可）、Block（ブロック）、Rate limit（レート制限）の4つのオプションから選択できます。各カテゴリに含まれるボットの全リストは、ソースのダッシュボード設定で確認できます。
| カテゴリ | 説明 |
|---|---|
| AI training crawlers | 画像を収集してモデルを訓練するクローラー。AI検索エンジンとAIアシスタントは別カテゴリで、対象外です。 |
| Search engines | 検索結果向けにWebコンテンツをインデックスする従来の検索エンジンのクローラー（例：Googlebot、Bingbot、DuckDuckBot）。 |
| AI search engines | AIを活用した検索プロダクトがインデックスを構築するために使用するクローラー（例：PerplexityBot、Brave Search）。 |
| AI assistants | ユーザーの質問に答えるためにコンテンツにアクセスするAIチャットボットやアシスタントのボット（例：ChatGPT、Claude、Gemini）。 |
| SEO tools | 検索パフォーマンスの監査・分析・追跡に使用されるサードパーティのクローラー（例：Ahrefs、Semrush、Screaming Frog）。 |
| Social previews | ソーシャルプラットフォームやメッセージアプリでリンクプレビューを生成するために、ページを取得するボット（例：Twitterbot、facebookexternalhit、Slackbot）。 |
| Monitoring | Webサービスの可用性とパフォーマンスを確認する自動クライアント（例：Pingdom、UptimeRobot、Datadog）。 |
| Service agents | フィードリーダー、RSSアグリゲーター、ワークフロー連携などの正規サードパーティサービスを代行する自動クライアント。 |
| Suspected scrapers | スクレイピング的な動作を示すものの、既知のスクレイパーとして確定的に識別されていないクライアント。 |
| Scraper fleets | 大規模なデータ収集を行う既知のスクレイパーネットワーク。 |
重要な注意事項:
- 個別のボットルールは常にそのボットのカテゴリルールより優先されます。ボットルールで特定のボットにルールを設定した場合、そのルールがカテゴリ設定より優先されます。
- カテゴリのレート制限は、カテゴリ内のすべてのボットに対する共有予算です。ボットごとの制限ではありません。
ボットルール
ボットルールを使用すると、特定の既知のボットに対してカテゴリ設定を上書きできます。ルールを追加するには、+ Add Bot Rule をクリックし、リストからボットを選択してアクションを選んでください。
個別のボットルールは、そのボットのカテゴリルールより常に優先されます。
独自のUser-Agent
ボットカテゴリに含まれていないクライアント（たとえば、自社のバックエンドフェッチャーや自分で特定したスクレイパー）に対してカスタムルールを定義できます。
ルールはUser-Agent文字列の先頭から照合され、大文字・小文字を区別しません。MyCompany-Sync/ のようなプレフィックスは、そのクライアントのすべてのバージョンに一致します。ルールを追加するには、+ Add User-Agent Rule をクリックしてください。
カスタムUser-Agentルールは、すべてのカテゴリルールおよびボットルールより優先されます。
フォールバックルール
フォールバックルールは、カテゴリ、ボット、またはUser-Agentのいずれのルールにも一致しないトラフィックの扱いを決定します。
| ルール | デフォルト | オプション |
|---|---|---|
| All other bots（その他すべてのボット） | Allow | Allow / Block / Rate limit |
| Requests with no User-Agent（User-Agentなしのリクエスト） | Allow | Allow / Block / Rate limit |
| Plain HTTP requests（HTTP リクエスト） | Allow | Allow / Redirect to HTTPS / Block |
レート制限
レート制限は連続補充型のローリング予算を使用します。たとえば、24時間のローリング予算はバーストで一度に使い切ることができ、その後は徐々に補充されます。予算はカレンダーの境界（日付の変わり目など）でリセットされることはありません。