百度爬虫导致shopex占用大量cpu

症状

服务器上一个站点 xxx.com （shopex站点）访问时占用大量cpu，一段时间后网站无法打开，回收程序池后正常，事件日志里多次出现对应的程序池死掉的记录

排查分析

可能以下原因造成

1.程序改动造成死循环

2.数据库问题

3.攻击

查看了文件修改时间，最近几个月没有动过程序，数据库连接正常，数据表正常。查看访问日志并无攻击

网上搜索了下相关资料，有用户反映百度爬虫造成cpu过高

用netstat查看了网站ip，发现了几个可疑的ip，查了下果然是百度爬虫的ip，在iis里禁止ip段无效，用服务器自带防火墙屏蔽ip段后正常