Nginx中配置过滤爬虫的User-Agent方法

一看不得了，基本上都是被一个user agent叫”yisouspider”的东西给刷屏了，一看就不知道是哪的蜘蛛，太没节操了。
找到根目录配置区，增加user agent过滤判断语句，发现叫”yisouspider”的直接返回403

注1：如果需要增加多个过滤，这样做

 ($http_user_agent ~* "spider1|spider2|spider3|spider4")

，中间用|隔开就行了

注2：如果你是用的是子目录博客，像我的一样，那么要找到 “location /blog/” 这样的区段去修改

location / { ......其它配置 if ($http_user_agent ~* "yisouspider") { return 403; } }

配置完成wq保存后reload一下nginx，然后使用以下命令自我测试，地址自己改。没装curl的我就没办法了，自己apt或者yum装一个吧，神器来的。

curl -i -a "yisouspider" www.slyar.com/blog/

看到返回403就可以了，说明配置成功