一款用 C# 编写的网络爬虫。用户可以通过设置线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等参数，获得网络上URL,下载得到的数据存储在数据库中。-Using a web crawler written in C#. Users can set the number of threads, thread waiting time, connection time, crawling file types can be Type and priority, the do

利用cookie登陆网站，并用python进行下载数据的程序，可以直接多线程爬取。-use cookie to login in website, and use python to download dataset, to support multi-thread download.

爬取淘宝鼠标评论信息以及其它信息并且保存到MYSQL这个数据库内。(Crawl the Taobao mouse review information and save it to the MYSQL database.)

作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行了爬取(As an excellent guide for using Python to crawl network data,