|
Google遗漏了什么
摘自:沙之书{译者:郑晓云}
许多人以为Google索引了互联网上的一切。不过，Google或许是我们所拥有的最好的搜索引擎，但是，Google所索引的互联网上的资源远比我们想象的要少得很多。根据Google首页面提供的数据，目前，它索引了3,083,324,652个页面，而据估计，实际上在互联网上有达100亿只夺得页面存在。我们不仅要问， 那些被Google省却的页面都是什么呢？
现在，我们遇到了一个难以提出的问题。如果我们想真实的知道Google到底遗漏了些什么，那我们必须要有一个比Google公司的能力更为强大的索引能力。在我们的此项研究中，作为理解Google索引了什么和遗漏了什么的开端，我们选取了"googlology"这样一个词来追踪, 'Goolology'是Webmaster World在2002年10月第十二期第一次提出来的，续而作为一个词在Microdoc News的前身站点Google Village上被使用，到2003年5月10日，通过Google的查询，该词意共出现在655个页面。然后，我们开始在互联网上到处搜索所有包含有"googlology"的页面，作为我们首次探究Google究竟遗漏了那些的实例，我们发现，"googlology"这个词在当前实际所出现的页面数目要比Google列出的要多。
Google从它的数据库中的总共655个页面中列出了624个页面的索引。我们抓取了那些链接的screen-scraped，把它们放入我们的文本数据库中。我们的研究人员设置了WebWolf?，让这个桌面“爬虫”在互联网上工作了两个星期来猎取那些包含有"googlology"的页面。 我们将网络上多达220,000个链接的Blogging新闻标题作为出发点；我们的爬虫从那里开始，跟随着一个又一个链接，直到它能在互联网上寻遍"googlology"这个词。
在两个礼拜的搜索之后，我们找到了2,199个页面包含"googlology"这个词。这也就意味着Google只索引了所有包含有"googlology"这个词的页面的29%。我们发现，另外的1,544包含有"googlology"的页面在Google的数据库中不存在。我们不尽要问，那些抡有被Google索引的页面都是哪些？它们都来自那种类型的站点？
Microdoc News使用了一个mapping工具来分析我们在搜索中创建的数据库。所有包含有"googlology" (2,199个)的页面用最外圈的犗黑线椭圆被标绘在我们的映射图上。这个大的椭圆里面的整个区域代表那些包含有"googlology"的所有页面。我们对这些页面按照下面的七类进行归类：
Blog页面
教育类页面
主流媒体站点的页面
新闻，信息和目录页面
Junk
Other database by Google
Other not-databased by Google
结果显示在下面这种映射图中。它为我们提供了一个包含有"googlology"，但抡有被Google索引的页面的可视化图景。图中红艊区域标绘了哪些包含有"googlology"，并且所有被Google索引的624个页面。
正如你所看到的，大约有一半左右包含有"googlology"的blog页面被Google索引，包含有"googlology"的教肊类站点页面中，约有37%被Google索引，类似的，主流媒体站点类页面中，29%被索引，News, Information and Directories类页面中大概是45%，junk站点类中，例如Geocities和其他类似的站点，约有8%被索引。
那些被Google数据库所遗漏的页面，看来多是那些用到该术语比较早的页面，例如2002年12月以前，在那里我们发现多达153个包含有该词的教肊类站点页面（它们引用到Webmaster World对该术语的使用），它们没有被Google索引。同样，也有许多在2月到3月之间的blog页面（它们引用到Google Village站点）和许多Microdoc News页面抡有被Google索引。我们还发现在在CNet?、ZDNet?和类似BBC、Siemens和其他媒体类站点的包含有该词的页面没有被列在Google中。
根据这些以及我们对数据的进一步分析，要是我们真的把对"googlology"这个词的分析的结果应用到所有的其他词去，那么，我们能得到这样一些试验性的结论：
Google并不索引互联网上的每一个页面；
Google倾向于抛下（或不索引）那些到现在三到六个月以前或更早的页面；
Google倾向于包含blogs、educational以及news and information类站点最新页面（在三个月内创建的页面）中的98%；
Google一般会索引主流媒体站点在最近三个月内创建的页面中的80%；
Google通常会忽略那些信息量很少的某些类型的站点的页面；
在网络上有2,199张包含有"googlology"的页面，Google仅仅列出了624张，而Google声称有655张。Google通常抛下较老的页面，它看上去是选择性的，比如"googlology"，3个月、6个月或者更早以前的页面中，仍然有一张或更多的页面被索引，而同时，同期的包含其他该词的其他页面被抛下了。
虽然我们没有非常正规的对该词作研究，但是似乎是在所给的三个月的时期内，第一次包含有"googlology"的页面被Google长期的获留，而同时期的其他包含有"googlology"的页面被逐站的抛下。因此结果是，我们能在Webmaster World找到使用"googlology"的页面，特别是它第一次使用的页面，但是并不能发现在接下来的10、11、12月中所有的包含"googlology"的页面。我们能找到Google Village和Microdoc News中包含"googlology"的页面，但并不是所有的情况，在一月到三月这段时间，在Google数据库中，我们站点自己的页面仅出现一次，其他的全部都抡被数据库收进。
用什么描绘来比拟Google搜索引擎是什么样的呢？我们想Google像是一束巨大的搜索的光芒，很像地球上看到的太阳的光亮。它的光指向它所作用到的地方，and what else is going on, 例如象互联网上的多数静态部分，Google索引抛下引用到它们那里的引用。静态的意思是，那些页面抡有被更新，或者作任何的变动，也许是没有被个人搜索到。出现在Google的数据库中的，并不意味着它总是在那里。似乎是Google数据库频繁的将一些页面刨除。Google所索引的30亿或更多的页面看上去是互联网上最为重要的30亿个页面。Google所抛下的，是那些抡有被更新或者常被用到的页面，就像我那些六个月以前的老文章。
|
