各市场用哪些 AI，它们的资料从哪来：ChatGPT、Gemini、Copilot、Naver、Yandex、豆包、DeepSeek，以及 robots.txt 放行哪些爬虫

各市场在用哪些 AI

Statcounter 的「AI 聊天机器人份额」量的是各 AI 送到网站的点击，不是用户数。2026 年 10 月 9 日起，ChatGPT 的很多链接不再带来源标记，被记成直接访问，所以这里用 9 月的数。

• 美国：Pew 2026 年 2 月的调查，49% 的成年人用 AI 聊天机器人，其中 ChatGPT 44%、Gemini 24%、Copilot 17%、Meta AI 14%、Grok 8%、Claude 6%；60% 的人读过搜索结果顶部的 AI 摘要。Pew（2026-06-17）
• Google 只公布全球数：AI 概览月活 25 亿以上；AI Mode 月活 10 亿以上，已经和 AI 概览合并成一个体验；Gemini App 有 10 亿用户。Google I/O（2026-05-19）、Alphabet Q2、Alphabet Q3
• 印尼：2026 年 5 月的真实受众份额 ChatGPT 45.7%、Gemini 31.2%、Claude 7.8%（Sensor Tower）。AI Mode 2025 年 9 月起支持印尼语、日语和韩语。Databoks、Google
• 越南：2025 年 7 月的调查，78% 的网民近 3 个月用过 AI；ChatGPT 81%、Gemini 51%、Meta AI 36%，本土的 AI Hay 9%、Zalo 的 Kiki 3%。Việt Nam News
• 日本：2026 年 2 月的调查，54.7% 的网民一年内用过生成式 AI；ChatGPT 36.2%、Gemini 25.0%、Copilot 13.3%、Claude 4.3%、Perplexity 4.0%。ICT総研
• 韩国：2026 年 9 月的 App 月活，ChatGPT 2,470 万、Gemini 987 万、Claude 404 万；Naver 的 AI 摘要（AI 브리핑）每月 3,000 万人用，AI 标签页 7 月破 1,000 万。byline（2026-10-13）、byline（2026-07-15）
• 俄罗斯：2026 年 9 月，12 岁以上人群每月有 55% 用 AI；Yandex 的 Alice AI 5,900 万、DeepSeek 1,300 万、GigaChat 600 万（只算官网和 App）。Yandex 搜索里的 Alice AI 快速回答，二季度每月有 4,950 万人看到，约 42% 的查询会出现。kod.ru（2026-10-16）、Trashbox（2026-07-29）
• 中国大陆：QuestMobile 2026 年 9 月，AI 原生 App 月活 5.46 亿，豆包 4.19 亿、千问 1.58 亿、DeepSeek 1.23 亿、元宝 3,733 万。Statcounter 的中国页只反映装了它统计代码的网站，不代表国内用户。腾讯新闻（2026-10-20）、搜狐（2026-11-03）
• 欧洲、英国：2025 年欧盟 16–74 岁的人有 32.7% 用过生成式 AI，16–24 岁是 63.8%。Statcounter 9 月：欧洲 ChatGPT 78.8%、Gemini 12.8%；英国 ChatGPT 79.8%、Gemini 10.2%。Eurostat（2026-02-10）、Statcounter 欧洲、Statcounter 英国

ChatGPT

• 微软的 Web IQ 建在 Bing 的全球索引上，官方产品页写明它支撑包括 Copilot 和 ChatGPT 在内的 AI 助手。Microsoft Web IQ
• OpenAI 的爬虫分开设置：OAI-SearchBot 管搜索，屏蔽了就不会出现在 ChatGPT 搜索的答案里，改 robots.txt 约 24 小时生效；GPTBot 管训练，和前者互不影响；ChatGPT-User 是用户提问时临时抓取，robots.txt 不一定管得到。OpenAI 爬虫

Copilot 和 Bing

• 微软说 Copilot 和 Microsoft 365 用 Bing 的内容生成回答，爬虫只有 Bingbot。Bing 博客（2026-10-30）
• 2027 年 2 月 1 日起，用页面上的 Bingbot meta 标签（ai-grounding）控制内容能不能用于 AI 回答；disallowextended 表示只给微软自己的产品用，不给 Web IQ 等第三方。训练偏好在 robots.txt 里写 __usage_ai-training。这些设置都不能覆盖 robots.txt 对 Bingbot 的屏蔽。Bing 博客（2026-10-30）
• 现在用 NOARCHIVE、NOCACHE 控制；2027 年 3 月 1 日以后，Bing 不再把它们当作训练或引用的偏好。Bing 博客（2026-10-30）

Gemini、AI 概览和 AI Mode

• 都用 Google 的搜索索引：能被收录、可以显示摘要的页面就有资格进 AI 概览和 AI Mode，没有额外的技术要求。能控制的只有 Googlebot 的 robots 规则和 nosnippet、max-snippet、noindex。Google AI 功能
• Google-Extended 只是 robots.txt 里的一个令牌，管 Gemini 的训练，以及 Gemini App 和 Vertex AI 联网时的引用；官方说它不影响 Google 搜索收录，也不是排名信号。所以屏蔽它不会让你退出 AI 概览和 AI Mode，但会退出 Gemini App 的联网引用。Google 常用爬虫
• Search Console 2026 年 8 月起有一个开关，可以让网站不出现在 AI 概览、AI Mode 等生成式 AI 功能里。Search Console 帮助
• Google-Agent 替用户在网页上操作，这类用户触发的抓取通常不看 robots.txt。Google 用户触发的抓取

Perplexity 和 Claude

• Perplexity 用自己的索引，号称数千亿网页。PerplexityBot 用于搜索结果、不用于训练；Perplexity-User 是用户触发的抓取，通常忽略 robots.txt。Perplexity 博客、Perplexity 爬虫
• Anthropic 列出的联网搜索服务商有 Brave Search（全部产品），还有 TurboPuffer 和 Parallel Web Systems。Claude 的爬虫分三种：ClaudeBot 管训练，Claude-SearchBot 管搜索索引（屏蔽会降低在搜索结果里的可见度），Claude-User 是用户提问时抓取。Anthropic 服务商清单、Claude 爬虫说明

Naver 和 Yandex

• Naver 的 AI 回答主要引用自家平台（博客、Cafe、Clip）和政府等官方出处，第三方统计有 46.5% 的引用来自 Naver 博客。爬虫叫 Yeti，官方 robots 指南里没有单独的 AI 爬虫。byline（2025-03-24）、ditoday（2026-10-15）、Naver robots 指南
• Yandex 的 Alice AI 先改写问题，再调用 Yandex 搜索的结果，偏好排名靠前的来源。YandexBot 抓主索引；YandexAdditional 单独控制内容能不能进快速回答和 Alice AI 的回答，只对已收录的页面生效；Yandex 没有训练专用的爬虫。Yandex Webmaster 帮助、Yandex 爬虫列表

中国的 AI

• 豆包：火山引擎的联网插件默认搜全网，可以再加抖音百科和头条图文；豆包 App 是否用同一套没说。字节的爬虫 Bytespider 没有官方文档，曾被报道不遵守 robots。火山引擎文档、Fortune（2024-10-03）
• DeepSeek 的联网搜索 API 写的是「由 DeepSeek 自研搜索引擎提供支持」；App 是否同源没说，爬虫也没有官方文档。DeepSeek 文档
• 腾讯元宝上线时接入了微信搜一搜和搜狗，覆盖公众号内容；据腾讯内部人士 2026 年的说法，元宝搜索整合了 QQ 浏览器和搜狗的技术，设了反爬的网站不收录。新京报（2024-05-30）、虎嗅（2026-11-03）
• 百度的 AI 搜索用百度搜索的结果，爬虫是 Baiduspider，没有文心专用的爬虫。百度千帆文档、百度帮助