什么是 Bingbot?
Bingbot 是微软用来抓取网页、收集构建可搜索的网络索引所需信息的网络爬虫。
什么是 Bingbot?
Bingbot 是微软用来收集信息、以构建可搜索的网络索引的网络爬虫,为 Bing 搜索引擎提供支持。
Bingbot 为 Bing 所做的工作,正如 Googlebot 之于 Google。
Bingbot 于 2010 年 10 月上线。
根据 Cloudflare Radar 的数据,Bingbot 是全球活跃度第三高的爬虫(AhrefsBot 排第四)。
Bingbot 的 User Agent 字符串为:
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
和任何优秀的搜索引擎爬虫一样,Bingbot 会遵守 robots.txt 文件中的规则,和链接和页面上的“nofollow”指令。
除了 Bingbot 之外,Bing 还运营着 AdIdxBot(用于 Bing Ads)和 BingPreview(用于生成页面快照)。