AI爬虫导致带宽暴涨，作者被迫屏蔽机器人

这简直是毫无意义的爬取——超出了训练他们自己的AI。我现在花时间和精力来屏蔽机器人。毫无理由。带宽增加了7倍，但人类流量却零增长。我很恼火要处理那些忽略robots.txt的拙劣机器人。