反爬虫笔记

nginx

#屏蔽百度
if ($http_user_agent ~* "Baiduspider")
{
   return 403;
}

云服务器安全组

源IP填写为118.124.8.0/24  表示118.124.8.* CIDR无类别域间路由

参考

反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站

利用nginx来屏蔽恶意网页爬虫的详细方法

Nignx网站屏蔽指定路径的百度爬虫

通过nginx禁止搜索引擎抓取和收录（亲测有效）