# robots.txt —— www.nameslink.com
# 线上由 domainaa-web/ingress/other.yaml 重写到 OSS /{staticVersion}/robots.txt 提供。
#
# 【改本文件前必读】robots.txt 的 user-agent 分组「不合并」：爬虫只遵守最具体匹配的
# 那一组规则，不会再继承 `User-agent: *`（RFC 9309）。所以一旦显式点名某个 bot，
# 就必须在它所在的分组里重复一遍 Disallow 清单，否则该 bot 会绕过屏蔽去抓
# /sale /quick-buy /domain /console。下面用「连续多行 User-agent + 一份规则」的写法
# 让所有 AI bot 共享同一份清单，避免复制多份导致漂移。
# 同理：分组内不要插入空行（部分解析器会把空行当分组结束），要注释就用 # 行。

User-agent: *
Disallow: /sale
Disallow: /quick-buy
Disallow: /domain
Disallow: /console
Allow: /

# ============================================================================
# AI 爬虫显式策略：全部允许（与搜索引擎同等待遇），换取 AI 答案中的可见性与引用机会。
#
# 这些 bot 职责分三类，不能混为一谈——屏蔽错了后果相反：
#   训练类    GPTBot / ClaudeBot / Google-Extended
#             屏蔽 = 仅退出模型训练，不影响能否被引用
#   检索类    OAI-SearchBot / Claude-SearchBot / PerplexityBot
#             屏蔽 = 直接从对应 AI 的答案里消失（真正决定「AI 可见性」的是这一类）
#   用户取回  ChatGPT-User / Claude-User / Perplexity-User
#             屏蔽 = 用户让 AI「打开这个链接」时取不到内容
#
# 若将来改为「保可见性、退出训练」，只把训练类三个改成 Disallow: /，
# 检索类与用户取回类保持允许。不要反过来（那是最常见也最贵的配错）。
# ============================================================================

# --- OpenAI：OAI-SearchBot 与 GPTBot 是两个独立开关，前者决定能否被 ChatGPT 引用 ---
User-agent: OAI-SearchBot
User-agent: GPTBot
User-agent: ChatGPT-User
# --- Anthropic：官方文档仅这三个 bot（ClaudeBot / Claude-User / Claude-SearchBot）---
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
# anthropic-ai 是已废弃的旧 token，官方文档已不再列出；保留仅为兼容仍在用旧标识的实现
User-agent: anthropic-ai
# --- Perplexity ---
User-agent: PerplexityBot
User-agent: Perplexity-User
# --- Google-Extended 不是爬虫，不抓取任何页面，只控制内容是否用于 Gemini grounding
#     与模型训练；它对 Google 搜索收录和 AI Overviews 都没有影响（后者跟随 Googlebot）---
User-agent: Google-Extended
Disallow: /sale
Disallow: /quick-buy
Disallow: /domain
Disallow: /console
Allow: /

Sitemap: https://www.nameslink.com/sitemap.xml