Robots.txt の設定
imgix はデフォルトで以下の内容を含む /robots.txt ファイルをすべてのドメインに対して出力します:
User-agent: *
Disallow:"User-agent: *" は指示が Google の Googlebot のようなすべての検索エンジンロボットに適用されることを意味します。"Disallow: " は各ロボットに対して、ドメインに関連付けられたすべての URL のクローリングを完全に許可することを伝えます。これは、空の /robots.txt または存在しないのと同じです。/robots.txt に関する詳細はこちらを参照してください。
ロボットによるリクエストは通常のリクエストとしてカウントされ、請求のための Origin Image や帯域幅の計算に影響します。
カスタム robots.txt ファイルの使用
自分のカスタム robots.txt を使用することが可能です。そのためには:
- 自分の Origin に robots.txt をアップロードし、imgix ドメインのルートでアクセスできるようにします（例: subdomain.imgix.net/robots.txt）
- カスタム robots.txt をロードして有効にするよう support@imgix.com に連絡し、それを有効にしたいソース名をお知らせください。
注意: robots.txt ファイルに変更があった場合、一度Purgeが必要になります。