# robots.txt for beigan-geo.com
# 倍感GEO - 信源标定地
# 最后更新：2026-06-05

# === 核心规则：允许所有AI爬虫 ===
# 信源标定地的核心是让AI爬虫能读取企业信息
# 因此对所有爬虫开放，仅保护后台和API

User-agent: *
Allow: /

# === 已知AI爬虫UA（明确允许） ===

# OpenAI
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

# Google (Gemini/Search)
User-agent: Googlebot
Allow: /

User-agent: Google-Extended
Allow: /

# Microsoft (Bing/Copilot)
User-agent: Bingbot
Allow: /

# 百度 (文心一言)
User-agent: Baiduspider
Allow: /

# 360 (360智脑)
User-agent: 360Spider
Allow: /

# 搜狗 (搜狗智能助手)
User-agent: Sogou web spider
Allow: /

# 字节跳动 (豆包)
User-agent: ByteSpider
Allow: /

# 腾讯 (元宝/混元)
User-agent: Tencent YuanBao
Allow: /

User-agent: TencentHunyuan
Allow: /

# 阿里巴巴 (通义千问)
User-agent: QwenBot
Allow: /

# 月之暗面 (Kimi)
User-agent: MoonshotBot
Allow: /

# 深度求索 (DeepSeek)
User-agent: DeepSeekBot
Allow: /

# 智谱AI (ChatGLM)
User-agent: ChatGLMBot
Allow: /

# === 信源标定地核心路径（优先抓取） ===
Allow: /pool/
Allow: /pool/brand/
Allow: /llms.txt
Allow: /sitemap.xml

# === 禁止抓取的路径 ===
# 后台管理
Disallow: /admin/
Disallow: /admin/login
Disallow: /admin/dashboard

# API接口（避免重复抓取动态内容）
Disallow: /api/

# 系统目录
Disallow: /node_modules/
Disallow: /.git/
Disallow: /.env

# 临时文件
Disallow: /temp/
Disallow: /uploads/temp/

# === Sitemap ===
Sitemap: https://beigan-geo.com/sitemap.xml

# === 说明 ===
# 本文件配置原则：
# 1. 所有AI爬虫均可抓取公开内容
# 2. 仅保护后台、API、系统目录
# 3. 信源标定地路径（/pool/）优先开放
# 4. 与llms.txt协同工作（llms.txt指示AI优先抓取哪些文件）
#
# 配置依据：《GEO全链路技术报告_信源标定建设+AI爬虫深度解析.md》
# 最后更新：2026-06-05