We read every piece of feedback, and take your input very seriously.
To see all available qualifiers, see our documentation.
1 parent fc96095 commit f349597Copy full SHA for f349597
1 file changed
CaiXuKun/CaiXuKun/readme.md
@@ -15,24 +15,24 @@
15
```
16
17
### 需要注意的问题
18
-``1. 爬虫名``
+#### 1. 爬虫名
19
- caixukun
20
21
</br>
22
23
-``2. 启动爬虫``
+#### 2. 启动爬虫
24
- 切换进Scarpy爬虫项目文件目录,命令行输入 ```scrapy crawl caixukun```
25
26
27
28
-``3. 浏览器抓包``
+#### 3. 浏览器抓包
29
- 爬取的链接:https://m.weibo.cn/api/statuses/repostTimeline?id=4347741368557605&page=1 ,是通过浏览器抓包得来(微博移动端)
30
- `4347741368557605`是每条微博对应的id,只要通过抓包得到这个id,便可以爬取你想要爬取的任何微博的转发数据
31
- `page的最大参数`随转发量不同而变化,需要自行测试
32
33
34
35
-``4. 微博反爬的应对措施``
+#### 4. 微博反爬的应对措施
36
37
直接大批量抓取,很快会被微博反爬,很多page抓取不到数据,应对措施有:
38
0 commit comments