搜索资源列表
aspseek
- ASPSeek是一个C++编写的互联网搜索引擎,并使用了STL库。它主要包括一个检索机器人,一个搜索守护程序,和一个搜索前端(CGI或者是Apache模块)。它大概可以检索几百万个URLs,来查找给定的短语和单词,并使用通配符,进行布尔搜索。搜索结果可以限定在给定的时间或站点,站点空间,并按照相关性或者时间进行排序(这里面使用了一些非常酷的技术)。ASPSeek可以应用于很多语言和编码中(甚至包括多字节语言如中文)。它为多个站点做了优化。(多线程检索,同步DNS查询, 按站点将结果分组, Web
Robot
- 网上机器人(Robot)又被称作Spider、Worm或Random,核心目的是为获取在Internet上的信息。机器人利用主页中的超文本链接遍历Web,通过URL引用从一个HTML文档爬行到另一个HTML文档。网上机器人收集到的信息可有多种用途,如建立索引、HTML文件的验证、URL链接验证、获取更新信息、站点镜象等。 -Internet Robot (Robot) also known as Spider, Worm, or Random, the core objective is t
clucene_chinese
- 对搜索引擎clucene进行了改写,可以支持中文了。并写了一个生成DLL文件的DEMO,方便大家引用。-Clucene of search engines have been rewritten to support Chinese. And write a DLL file generated DEMO, to facilitate reference.
how-to-use-C-toSpider
- 蜘蛛是一种半自动的程序,就象现实当中的蜘蛛在它的Web(蜘蛛网)上旅行一样,蜘蛛程序也按照类似的方式在Web链接织成的网上旅行。蜘蛛程序之所以是半自动的,是因为它总是需要一个初始链接(出发点),但此后的运行情况就要由它自己决定了,蜘蛛程序会扫描起始页面包含的链接,然后访问这些链接指向的页面,再分析和追踪那些页面包含的链接。从理论上看,最终蜘蛛程序会访问到Internet上的每一个页面,因为Internet上几乎每一个页面总是被其他或多或少的页面引用。-Spider is a semi-au