搜索资源列表
自己写的简单网络蜘蛛
- 本源码简单易懂,便于JAVA初学者参考编程.而且可以对文件类型,大小,搜索深度进行设置,详细说明见下载说明.-the source straightforward, easy reference beginners JAVA programming. But can the file type, size, depth search settings, a detailed explanation see Note download.
hanhua_0425
- 面向Internet的分布式海量 文件存储系统研究韩 华北京大学计算机科学技术系网络与分布式系统实验室2002-4-25-Internet-oriented Massive Distributed File Storage System Hanwha Beijing University of Science and Technology Department of Computer Networks and Distributed Systems Laboratory 2002-4-25
readHtml
- 一个小的网络爬虫，从文件中读取URL，然后抓取网页文件-network crawler
FlickrCrawler
- 用C#自行开发的Flickr爬虫代码，实现了一个HttpRequestHelper类来处理网络请求，调用Flickr的API库来搜索指定内容或者作者的照片，并将返回结果存储到excel文件中。-Flickr reptiles code developed in C#, a HttpRequestHelper class to handle network requests, call the Flickr API library to search for specific content or
holmes-3.11.tar
- Sherlock Holmes搜索引擎，可以对本地或网络上文本文件（网页，文件。。）创建索引-Sherlock Holmes search engine, can be local or network text file (pages, documents..) Create index
larbin-2.6.3
- 一个高效的网络爬虫，可以自行修改配置文件，为linux下工作环境，很具有参考意义-An efficient Web crawler that can modify configuration files for linux work environment, it is a reference value
UniWebCrawler
- 搜索引擎网络爬虫程序，可以在指定网站上搜索想要的信息，存储在文件中。-This is a search engine program. It can find what you want in specified web site, and save the information in the file.
MetaSeeker-4.11.2
- 主要应用领域： • 垂直搜索（Vertical Search）：也称为专业搜索，高速、海量和精确抓取是定题网络爬虫DataScraper的强项，每天24小时每周7天无人值守自主调度的周期性批量采集，加上断点续传和软件看门狗(Watch Dog)，确保您高枕无忧 • 移动互联网：手机搜索、手机混搭(mashup)、移动社交网络、移动电子商务都离不开结构化的数据内容，DataScraper实时高效地 采集内容，输出富含语义元数据的XML格式的抓取结果文件，确保自动化
Crawler
- 网络爬虫，能够从网页中搜索到各个链接并进行下一级的搜索，对于无用的Css，js等文件会自动筛选掉的，-Web crawler and search from a web page for each link and the next level search useless Css, js file will be automatically filtered out.
WebLoupe-0.5-src
- 一个java写的网络爬虫，有界面，有log，能够压缩下载文件。-A web crawler written in Java, interface, the log and be able to extract the downloaded file.
domainSpider
- 自己用java写的一个域名扫描程序，扫描网络上未被注册的域名。可以在配置文件里配置字符组成、长度范围、域名机构名。扫描结果存放mysql数据库里同时输出log文件，建库语句压缩包里有。-Own a domain name written in java scanner scans the network is not registered on the domain name. Configuration characters in the configuration file, the len
NWebCrawler
- 网络爬虫, * 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 * 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 * 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 * 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 * 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。-Web crawler
Network-Spider-for-Download
- 网络爬虫实现可用以下载网络的各种资源文件在适当的URL下-Network Spider