搜索资源列表
incSpideraspnet
- 蜘蛛登陆追捕器 (网络版)0.12 版 Spider是搜索引擎的一个自动程序。它的作用是访问互联网上的html网页,建立索引数据库,使用户能在搜索引擎中搜索到贵网站的网页。 搜索引擎派出“蜘蛛”程序检索现有网站一定IP地址范围内的新网站,而对现有网站的更新则根据该网站的等级不同有快慢之分。一般来说,网站网页等级越高,更新的频率就越快。搜索引擎的“蜘蛛”同一天会对某些网站或同一网页进行多次爬行,知道蜘蛛的运动规律,对于更新网页、了解搜索引擎收录的收录情况等等有相当重要的作用。
SearchHistory
- 搜索记录查看器,用于读取goole,yahoo,live等搜索引擎的搜索历史,以及yahoo车站搜索的车站历史信息。-Search record viewer, for reading goole, yahoo, live search history and other search engines, and yahoo search station station history information.
softhy76I
- 可查询谷歌(Google)、百度(baidu)、必应(Bing)、雅虎(Yahoo)、搜搜(Soso)、搜狗(Sogou)、有道(Youdao)、AltaVista、AlltheWeb等搜索引擎最新收录数据,修正了百度无法正常取值的问题,增加了记录查询历史的功能。 -Can be found at Google (Google), Baidu (baidu), will be (Bing), Yahoo (Yahoo), search search (Soso), search dogs (
NwebCrawler
- NwebCrawler是用C#写的一款多线程网络爬虫程序,它的实现原理是先输入一个或多个种子URL到队列中,然后从队列中提取URL(先进先出原则),分析此网页寻找相应标签并获得其href属性值,爬取有用的链接网页并存入网页库中,其中用爬取历史来记录爬过的网页,这样避免了重复爬取。提取URL存入队列中,进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。-NwebCrawler is a multi-threaded w