File tree Expand file tree Collapse file tree
Expand file tree Collapse file tree Original file line number Diff line number Diff line change 11# FEAPDER
22
33![ ] ( https://img.shields.io/badge/python-3.6-brightgreen )
4-
4+ ![ ] ( https://img.shields.io/github/watchers/Boris-code/feapder?style=social )
5+ ![ ] ( https://img.shields.io/github/stars/Boris-code/feapder?style=social )
6+ ![ ] ( https://img.shields.io/github/forks/Boris-code/feapder?style=social )
57## 简介
68
79** feapder** 是一款简单、快速、轻量级的爬虫框架。起名源于 fast、easy、air、pro、spider的缩写,以开发快速、抓取快速、使用简单、功能强大为宗旨,历时4年倾心打造。支持轻量爬虫、分布式爬虫、批次爬虫、爬虫集成,以及完善的爬虫报警机制。
@@ -68,14 +70,14 @@ From Git:
6870代码解释如下:
6971
70721 . start_requests: 生产任务
71- 2 . parser : 解析数据
73+ 2 . parse : 解析数据
7274
7375## 为什么不使用scrapy
7476
7577scrapy给我的印象:
7678
77791 . 重,框架中的许多东西都用不到,如CrawlSpider、XMLFeedSpider
78- 2 . 中间件不灵活
80+ 2 . 不好上手,对小白不友好
79813 . 不支持从数据库中取任务作为种子抓取
80824 . 数据入库不支持批量,需要自己写批量逻辑
81835 . 启动方式需要用scrapy命令行,打断点调试不方便
@@ -221,6 +223,18 @@ feapder会自动维护任务状态,每个批次(采集周期)的进度,
221223 ![ -w1299] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/02/09/16128568548280.jpg?x-oss-process=style/markdown-media )
222224
223225
226+ ## 来自使用者的评价
227+
228+ ![ -w625] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/11/16154605699226.jpg?x-oss-process=style/markdown-media )
229+
230+ ![ ] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/11/16154606478110.jpg?x-oss-process=style/markdown-media )
231+
232+ ![ -w552] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/12/16155327974180.jpg?x-oss-process=style/markdown-media )
233+
234+ ![ ] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/11/16154606955574.jpg?x-oss-process=style/markdown-media )
235+
236+
237+
224238## 学习交流
225239
226240知识星球:
Original file line number Diff line number Diff line change 11# FEAPDER
22
33![ ] ( https://img.shields.io/badge/python-3.6-brightgreen )
4+ ![ ] ( https://img.shields.io/github/watchers/Boris-code/feapder?style=social )
5+ ![ ] ( https://img.shields.io/github/stars/Boris-code/feapder?style=social )
6+ ![ ] ( https://img.shields.io/github/forks/Boris-code/feapder?style=social )
47
58## 简介
69
@@ -68,14 +71,14 @@ From Git:
6871代码解释如下:
6972
70731 . start_requests: 生产任务
71- 2 . parser : 解析数据
74+ 2 . parse : 解析数据
7275
7376## 为什么不使用scrapy
7477
7578scrapy给我的印象:
7679
77801 . 重,框架中的许多东西都用不到,如CrawlSpider、XMLFeedSpider
78- 2 . 中间件不灵活
81+ 2 . 不好上手,对小白不友好
79823 . 不支持从数据库中取任务作为种子抓取
80834 . 数据入库不支持批量,需要自己写批量逻辑
81845 . 启动方式需要用scrapy命令行,打断点调试不方便
@@ -221,6 +224,17 @@ feapder会自动维护任务状态,每个批次(采集周期)的进度,
221224 ![ -w1299] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/02/09/16128568548280.jpg?x-oss-process=style/markdown-media )
222225
223226
227+ ## 来自使用者的评价
228+
229+ ![ -w625] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/11/16154605699226.jpg?x-oss-process=style/markdown-media )
230+
231+ ![ ] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/11/16154606478110.jpg?x-oss-process=style/markdown-media )
232+
233+ ![ -w552] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/12/16155327974180.jpg?x-oss-process=style/markdown-media )
234+
235+ ![ ] ( http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/03/11/16154606955574.jpg?x-oss-process=style/markdown-media )
236+
237+
224238## 学习交流
225239
226240知识星球:
You can’t perform that action at this time.
0 commit comments