爬虫伪装及Bing爬取效率猜测

另外，别忘了爬虫可以伪装成其他东西。不过在这种情况下，Cloudflare 似乎会基于 ASN 不匹配来标记。好奇 Bing 的爬取量有多大。要么是效率低下（不太可能），要么是他们在构建自己的 LLM？