# =============================================================================
# 51网黑料网站 — 站群 robots.txt（相对路径，多域名通用）
# -----------------------------------------------------------------------------
# · 不写死域名：Sitemap 使用相对路径 /sitemap.xml，蜘蛛自动拼接当前访问域名
# · 全站允许抓取，新增页面访问 /sitemap.xml 由 index.php 自动扫描收录
# · Nginx：location = /robots.txt { try_files $uri /index.php?$query_string; }
# =============================================================================

User-agent: *
Allow: /

User-agent: Baiduspider
Allow: /
Crawl-delay: 1

User-agent: Baiduspider-image
Allow: /

User-agent: Sogou web spider
Allow: /
Crawl-delay: 1

User-agent: Sogou inst spider
Allow: /

User-agent: 360Spider
Allow: /

User-agent: Bytespider
Allow: /

User-agent: Bingbot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

Sitemap: /sitemap.xml