搜索资源列表
zxsou
- 在线搜盟云搜索全天候关注各搜索引擎动态, 在第一时间修复死链； 提供全球十多万网站的中文直达服务, 用户不再担心进入钓鱼网站； 聚合热门搜索引擎, 随时切换, 用户操作更快捷； 聚合常用网站链接, 网站导航让用户操作更方便； 聚合手机搜索引擎, 让用户第一时间享受最前沿的3G应用； 节日温馨提示、可自定义的搜索框默认文字等功能更体贴用户； 可按您需要生成不同样式的搜索框, 支持多种编码, 让您轻松整合网站； 采用div+css皮肤, 符合w3c标准, 在不同浏览器、手
collect
- 简易采集爬虫 # 1.我只做了一个收集url的功能，如果需要将数据入库，可在 parseData 函数里面写处理代码 # 2.需要sqlite3或者pysqlite支持 # 3.可以在DreamHost.com空间上面运行 # 4.可以修改User-Agent冒充搜索引擎蜘蛛 # 5.可以设置暂停的时间，控制采集速度-Simple collection reptiles# 1. I have only had a collection of url feature, if y
Simple-collection-of-reptiles
- 简易采集爬虫 # 1.我只做了一个收集url的功能，如果需要将数据入库，可在 parseData 函数里面写处理代码 # 2.需要sqlite3或者pysqlite支持 # 3.可以在DreamHost.com空间上面运行 # 4.可以修改User-Agent冒充搜索引擎蜘蛛 # 5.可以设置暂停的时间，控制采集速度- Simple collection of reptiles # 1 I just made a collection of URL functi
spider2006
- 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。 -C# spider.
NWebCrawler
- 网络爬虫, * 可配置：线程数、线程等待时间，连接超时时间，可爬取文件类型和优先级、下载目录等。 * 状态栏显示统计信息：排入队列URL数，已下载文件数，已下载总字节数，CPU使用率和可用内存等。 * 有偏好的爬虫：可针对爬取的资源类型设置不同的优先级。 * 健壮性：十几项URL正规化策略以排除冗余下载、爬虫陷阱避免策略的使用等、多种策略以解析相对路径等。 * 较好的性能：基于正则表达式的页面解析、适度加锁、维持HTTP连接等。-Web crawler