您正在使用版本过时的浏览器!


过旧的浏览器无法支持全新的功能与特效,若希望获得完整浏览体验请升级浏览器

Google和百度收录网站页面的比较

发布时间:2007-12-25 点击:451
  Google和Baidu收录网站页面的标准是不同的。

  为了验证这一点,我做一个实验:我申请了一个新域名www.moon-blog.com,不再其他任何网站做链接,而直接往百度和Google搜索引擎的提交页面进行提交。一个月过去了,百度收录的网页是24,900篇,Google收录的网页是0,这证实了我以前的猜测。

  这说明了什么呢?说明百度比Google好吗?绝对不是的。因为Baidu和Google收录页面的标准是完全不同的。

  Google是按照网页级别来收录的,只要你有一定的网页级别,Google会快速收录的,而没有网页级别的网站,Google则坚决不去收录。Baidu则很夸张,采用的是来者不拒,多多益善的原则,无休止的进行收录。Baidu的这种不按网页级别的收录方式其实有很大的恶果,最主要的恶果是造成大量的垃圾网站流行,因为只要做一个垃圾站,Baidu就会立刻收录(25000页以内),这等于变相的鼓励大家去做垃圾站,去盲目采集。当垃圾站横行的时候,Baidu再通过人工的方式封站,对于大流量的网站再威胁其站长办理百度竞价排名。因此Baidu和大量的个人站长都结有恩怨。

  这两种收录方式哪种更好呢?我个人认为Google的这种收录方式是比较科学的。因为互联网上的页面是个天文数字,收录应该是有选择的收录,好的网站则多收录,新站则应该少收录,等其慢慢知名了以后再多收录,这样也提高了效率,让用户搜索到更好的页面而不是更多的页面。而且Google的爬虫占用服务器的资源较少,通常是先用head来查看网页是否更新,如果更新了再抓取整个页面,这种方法耗费流量较少。而百度则不管三七二十一上来就抓整个站,而且其爬虫数量非常庞大,对于页面较多的网站通常会耗费惊人的流量,并且常常造成恶劣的后果。例如我以前的月光软件站有一段时间CPU耗费极大,IIS连接数也逼近1000,每天流量高达10多G,电信机房总威胁要限制我的带宽,我以前一直以为是被别人DDOS攻击,但是我购买了新的服务器,换了几个IP,甚至更换了几个机房,依然无法解决问题,不得已只好将服务器托管到外地流量充裕的机房,但CPU负荷还总是居高不下。直到我网站被百度封了后,百度爬虫也不再光故,这时我才惊奇地发现,我的CPU和流量终于处于一种稳定合理的状态了,到目前为之,我站每天流量也有十多G,但CPU一直都没有超过5%,服务器也很少出现死机和大量IIS连接的状况,因此我开始怀疑,以前的所谓被DDOS攻击,其实只是大量的百度爬虫在抓取我的网站而已,由于其爬虫数量庞大,才引起我服务器的超负荷运转以至濒于崩溃。

  当然,百度这种“贪婪”爬虫抓取方法,虽然会让用户能够在百度搜索出一些Google里搜索不到的页面,但这实在是损人利己。其带给网站站长不少负面效果:服务器和带宽资源过度消耗,垃圾站被变相鼓励了,原创的有特色的网站则被边缘化,MP3音乐网站则更苦不堪言-自己的MP3被百度盗链后带来大量文件下载却没有带来页面访问。

  因此,中国的网民也出现了很奇怪的现象:大量的新网民和菜鸟新手喜欢用百度搜索,因为百度往往搜索到很多别处搜索不到的页面,但内容的匹配度则令人质疑,而专业人士和老鸟则更喜欢用Google,个人站长则普遍和百度有“个人恩怨”。因此百度在业界的Blog以及社区中口碑都不太好,但在普通的低层次的网民心中却不错,这些大量的普通网民给百度带来了大量流量。

  其实百度也发现这样所带来的问题。网络新手和普通网民的影响力微不足道,被Hao123这样的流氓网站强奸了,也不会反抗,用Hao123时间长了反而会依赖和喜欢上这样的低级网站。而IT专业人士则不同,他们建网站、写博客、开论坛,他们可以影响一大批普通用户,如果百度长期依靠低端用户而和大量站长结怨的话,其发展前景也是令人质疑的。

列表