搜索资源列表
SubjectSpider_ByKelvenJU
- 1、锁定某个主题抓取； 2、能够产生日志文本文件，格式为：时间戳(timestamp)、URL； 3、抓取某一URL时最多允许建立2个连接（注意：本地作网页解析的线程数则不限） 4、遵守文明蜘蛛规则：必须分析robots.txt文件和meta tag有无限制；一个线程抓完一个网页后要sleep 2秒钟； 5、能对HTML网页进行解析，提取出链接URL，能判别提取的URL是否已处理过，不重复解析已crawl过的网页； 6、能够对spider/crawler程序的一些基本参数进行
wikidownload
- 抓取网页中各个公司信息，包括名称，logo，位置，等-Crawls pages of each company information, including name, logo, location, etc.
HeritrixSpd
- 本源码是用java编写的，运用hertrix工具实时抓取ku6动态网页的信息。希望更多的爬虫爱好者和我一起来学习。-The source code is written in Java hertrix tool, using real-time grasping he plays tennis dynamic web pages of information. Hope more crawler enthusiasts and I together to learn.
jsoup
- html解析工具，使用css子选择器的语法解析元素，比古老的HtmlParser好用很多。在最新版本中，不支持设置Cookie等头信息来访问url，这样一些需要设置Cookie的网页就无法抓取了。为方便使用，我稍微修改了源码。 -html analytical tools, the use of css selector parsing sub-elements, easy to use than many of the old HtmlParser. In the latest vers
metastudio_Linux_gcc_gecko1.8_zh
- MetaSeeker工具包V3是GooSeeker团队自主开发的网页抓取/数据抽取/信息提取软件，经历了垂直搜索、SNS等多个互联网浪潮的实战检验，已经发展到V3版本，并且分成企业版和在线版，对于不愿支付昂贵的企业版费用的用户可以免费下载使用在线版。 MetaSeeker工具包V3版本包括如下软件工具： 1，MetaStudio，网页数据结构定义工具，通过图形界面免编程定义网站数据抓取规则 2，DataScraper，数据抽取工具，能够连续大批量抓取网页内容，不是普通的网络爬虫，而是适应力-Me
HTMLParser
- 利用HTMLParser实现网页信息的抓取-Using HTMLParser crawl web information
JavaBrowser
- 用Java写的一个在浏览器中自动输入信息的程序，可以给需要查询大量用户信息带来便捷。同时有从网页上抓取特定信息导入到excel中的功能-Written in Java a program that automatically input information in the browser, can bring convenient to need to query a large number of user information.At the same time a web crawls