迅龙中文Web搜索引擎(.NET) 下载完整版 代码 http://gforge.osdn.net.cn/projects/xunlong/ LGPL协议发行 作者： 宁夏大学 张冬 zd4004@163.com 欢迎技术交流 http://blog.163.com/zd4004/ 2007.2.26-Long Xun Chinese Web search engine (.NET) code download a

一个web爬虫 CSharp开发的,很小很不错,是个开放源代码的项目-CSharp developed a web crawler, very small and very good open source projects is

网络爬虫，也叫网络蜘蛛，有的项目也把它称作“walker”。维基百科所给的定义是“一种系统地扫描互联网，以获取索引为目的的网络程序”。网络上有很多关于网络爬虫的开源项目，其中比较有名的是Heritrix和Apache Nutch。 有时需要在网上搜集信息，如果需要搜集的是获取方法单一而人工搜集费时费力的信息，比如统计一个网站每个月发了多少篇文章、用了哪些标签，为自然语言处理项目搜集语料，或者为模式识别项目搜集图片等等，就需要爬虫程序来完成这样的任务。而且搜索引擎必不可少的组件之一也