注册 | 登录 忘记密码? 51cto首页 | 博客 | 论坛 | 招聘
热点文章 奥运,中国奖牌到底排第几?
 帮助

搜索引擎是否应该有点公德心


2007-04-06 15:03:05
 标签:搜索引擎   [推送到技术圈]

版权声明:原创作品,如需转载,请与作者联系。否则将追究法律责任。
我摘的服务器最近遇到点问题,访问稍微一大,机器就过热,会频繁重启。这维护期间,通过netstat看到大量来自Yahoo的爬虫在爬我的服务器。爬虫使用不同的域名和服务器,大量的爬内容。粗略一看,有多大数百个访问请求。
把IIS一停,CPU消耗立马下来,只要是上,就猛然上升。雅虎也不知道是不是吃错药了,疯狂的爬服务器,几乎与DDOS攻击无益。
因为使用很多服务器,很多IP地址,所以,如果想禁止IP,都要累死你,而且你禁一个,人家补上10个。
在这方面,GOOGLE就非常好,一般就看到它只放出三个爬虫,很“低调”。
操,雅虎这个SB搜索引擎,就不能高抬一下鬼手?放我服务器一条生路?

本文出自 “网络新势力” 博客,转载请与作者联系!





    文章评论
 
2007-06-13 18:06:15
还有很多变态的爬虫,闻所未闻,搜索一下,会发现他们臭名昭著

 

发表评论

昵   称:
验证码:  点击图片可刷新验证码  博客过2级,无需填写验证码
内   容: