中文搜索引擎的设计与实现.rar 华中科技大学硕士学位论文 A Thesis Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering The Design and Implementation of Chinese Search Engine 搜索引擎是 Web 信息检索的主要工具，Crawler 是搜索引擎的核心组件，用于 搜集 Web 页面

互联网词库来自于对SOGOU搜索引擎所索引到的中文互联网语料的统计分析，统计所进行的时间是2006年10月，涉及到的互联网语料规模在1亿页面以上。统计出的词条数约为15万条高频词，除标出这部分词条的词频信息之外，还标出了常用的词性信息。 语料库统计的意义：反映了互联网中文语言环境中的词频、词性情况。 应用案例：中文词性标注、词频分析等。 词性分类: N 名词 V 动词 ADJ 形容词 ADV 副词 CLAS 量词 ECHO 拟声词

用C#编写的一个多线程搜索引擎的源代码，能够并行或串行从多个位置进行搜索。-C# prepared in a multi-threaded search engine source code to parallel or serial number from the location of the search.

NwebCrawler是用C#写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL（先进先出原则），分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。-NwebCrawler is a multi-threaded w