最近发现服务器的负载一直居高不下,但实际上网站的流量并没有那么高,一开始以为是预加载缓存的原因导致的,结果把缓存预加载都停了之后还是没有什么改善。 后来想到可以查看下nginx日志看下到底有没有流量进来。 不看不知道,一看吓一跳,一堆蜘蛛爬虫一刻不停的在爬…… 既然是爬虫,那我加一下robots.txt是不是就好了? […]
最近发现服务器的负载一直居高不下,但实际上网站的流量并没有那么高,一开始以为是预加载缓存的原因导致的,结果把缓存预加载都停了之后还是没有什么改善。 后来想到可以查看下nginx日志看下到底有没有流量进来。 不看不知道,一看吓一跳,一堆蜘蛛爬虫一刻不停的在爬…… 既然是爬虫,那我加一下robots.txt是不是就好了? […]
比了一圈,发现阿里云居然最便宜……实在是出乎我的意料。 本来想入手香港的,后来对比了下价格…… 2C 2G的配置,一次买五年,香港1900左右,其他地区基本在1700…… 网络延迟,香港的不走精品EIP的话,都是走的跨境链路。 OSS延迟: ping oss-ap-northeast-1.aliyuncs.com PI […]
娉娉袅袅十三余,豆蔻梢头二月初。
春风十里扬州路,卷上珠帘总不如。