# robots.txt for xinysun.com
# 规范见 https://www.robotstxt.org/
# 允许所有搜索引擎与 AI 检索爬虫抓取前台页面，禁止抓取系统目录与后台入口

# ---- AI 检索/训练爬虫：显式放行 ----
# 说明：以下 UA 与「User-agent: *」采用同一套规则，显式列出便于 WAF 与各方核对放行意图。
# 覆盖 ChatGPT(OpenAI)、Claude(Anthropic)、Perplexity、Google AI、Apple Intelligence、
# 豆包/字节、Meta AI、Amazon、Mistral、Common Crawl、You.com、DuckDuckGo 等。
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: Amazonbot
User-agent: meta-externalagent
User-agent: MistralAI-User
User-agent: CCBot
User-agent: YouBot
User-agent: DuckAssistBot
User-agent: cohere-ai
Allow: /
Disallow: /application/
Disallow: /core/
Disallow: /data/
Disallow: /extend/
Disallow: /template/
Disallow: /vendor/
Disallow: /weapp/
Disallow: /install_u1p8kDsgC45g5zya354t/
# 后台管理入口（避免被收录）
Disallow: /xysguanli.php
# 会员中心（若已启用）
Disallow: /user/

# ---- 全部爬虫 ----
User-agent: *
Allow: /
Disallow: /application/
Disallow: /core/
Disallow: /data/
Disallow: /extend/
Disallow: /template/
Disallow: /vendor/
Disallow: /weapp/
Disallow: /install_u1p8kDsgC45g5zya354t/
# 后台管理入口（避免被搜索引擎收录）
Disallow: /xysguanli.php
# 会员中心（若已启用）
Disallow: /user/

# 声明站点地图
Sitemap: https://www.xinysun.com/sitemap.xml

# AI 检索入口（llms.txt 规范 https://llmstxt.org/）
# 精简索引：https://www.xinysun.com/llms.txt
# 全量索引：https://www.xinysun.com/llms-full.txt