百度蜘蛛Baiduspider User-Agent字段更新与IP判断
2012年03月07日
评论数（0）来自百度站长俱乐部的消息：百度网页搜索spider（也就是大家俗称的百度爬虫、百度蜘蛛）的User-Agent字段内容于2011年5月10日更新。查看网站日志时会发现，以前baiduspider在爬取网页时，发送请求的User-Agent字段是这样的：
Baiduspider+(+http://www.baidu.com/search/spider.htm)
更新后的baiduspider User-Agent字段内容内容为：
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
Baiduspider User-Agent的更新，对于一般网站是没什么影响的，因为一般的网站都没有屏蔽百度蜘蛛，所以你不需要做任何修改；如果你通过robots.txt文件屏蔽了百度蜘蛛，也不需要做任何修改，因为百度蜘蛛名称依然是Baiduspider没变；如果你此前主动在服务器端封禁了百度网页搜索的User-Agent，那么建议修改服务器端要封禁的User-Agent字段，或者更换为robots封禁。
不知道Baiduspider User-Agent的更新，会不会让百度爬虫更加高效、百度的排名机制更加完善。做SEO的人知道，百度搜索的技术与Google不可同日而语，百度蜘蛛的低效、排名机制的不完善，让各位站长和SEOer伤透了脑筋！但是如果做中文站的话，百度的排名是必须要考虑的问题，因为百度在中文搜索领域已经几乎处于垄断地位了！
百度各个产品使用不同的user-agent：
|
产品名称 |
对应user-agent |
|---|---|
|
无线搜索 |
Baiduspider |
|
图片搜索 |
Baiduspider-image |
|
视频搜索 |
Baiduspider-video |
|
新闻搜索 |
Baiduspider-news |
|
百度搜藏 |
Baiduspider-favo |
|
百度联盟 |
Baiduspider-cpro |
|
商务搜索 |
Baiduspider-ads |
|
网页以及其他搜索 |
Baiduspider |
有冒充百度蜘蛛抓取的情况，如何判断呢？
可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。
打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。