Crawler. This is a simple crawler of web search engine. It crawls 500 links from very beginning. -Crawler of web search engine

larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。 Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。 　　latbin最初的设计也是依据设计简单但是高度可配置性的原则，因此我们可以看到，一个简单的larbin的爬虫可以每天获取500万的网

根据一个人物名单文件，查找wekipedia上相应网页，读取网页文本，并统计每个人物在每个网页上出现的次数，最终形成word bag，人物500人，运行时间6分钟左右。-from a namelist making a word bag