最近发现服务器的负载一直居高不下，但实际上网站的流量并没有那么高，一开始以为是预加载缓存的原因导致的，结果把缓存预加载都停了之后还是没有什么改善。 后来想到可以查看下nginx日志看下到底有没有流量进来。 不看不知道，一看吓一跳，一堆蜘蛛爬虫一刻不停的在爬…… 既然是爬虫，那我加一下robots.txt是不是就好了？ […]