百度PC蜘蛛 

Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider. html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)  

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

Googlebot/2.1 (+http://www.google.com/bot.html)

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

但可以用robots文件禁止Google抓取的内容被用于Gemini等Google AI产品的训练，不影响内容出现在搜索中。

Google Gemini-Deep-Research蜘蛛

Google图片蜘蛛

Googlebot-Image/1.0

Googlebot-Video/1.0

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)W.X.Y.Z Safari/537.36

其中W.X.Y.Z是Chrome和Edge浏览器版本号。和Google一样，Bing也使用最新版本的Microsoft Edge引擎抓取、渲染页面。Edge和Chrome一样，也使用Chromium内核，所以Bing蜘蛛用户代理字符串里还包含一个Chrome版本号。

meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Facebook/Meta的L[原]LM模型如Llama抓取内容用[创]于AI模型训练。

如名称所提示，这个蜘蛛抓取的内容用于AI模型训练。

这个蜘蛛抓取的内容用于OpenAI的搜索功能，不用于训练。OpenAI的这个训练和搜索分开的机制挺好，可惜搜索市场份额太小。

用户与ChatGPT聊天时，某些问题可能需要访问某个页面，OpenAI派用户蜘蛛去访问一下。这个蜘蛛抓取的内容不用于训练，也不自动访问网页。

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

和OpenAI一样，用户蜘蛛是与用户聊天时需要访问某页面时发出的蜘蛛。

Common Crawl是个非盈利机构，抓取页面供所有机构、公司、个人使用。

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Sogou wap spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36

Mozilla/5.0 (iPhone; CPU iPhone OS 10_3 like Mac OS X) AppleWebKit/602.1.50 (KHTML, like Gecko) CriOS/56.0.2924.75 Mobile/14E5239e YisouSpider/5.0 Safari/602.1m#07)

Yandex是极少的幸存的俄罗斯搜索引擎。Chrome/81.0.4044.268是版本号，会不断更新。

Mozilla/5.0 (compatible; DeepseekBot/1.0; +https://www.deepseek.com/bot)

Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)

Claude用户蜘蛛Claude-User

Claude搜索蜘蛛Claude-SearchBot