今天例行查看服务器上的访问日志,发现了一个叫 MauiBot 的爬虫开始大量抓取本站内容。上网了解了一下,这也是一个无用的垃圾爬虫,果断屏蔽掉。本文整理常见搜索引擎爬虫和垃圾爬虫,并给出屏蔽垃圾爬虫的方法。