表名 含义(更新策略)
字段设计是否满足需求? 表之间的关联字段是否满足要求? (需要人工检查)
注意:是否设计了自增 id,id 的类型是否设置为 bigint? 注意:unique index 是否需要设计? 注意:各张表之间是否需要设计关联字段;
- 是
- 否
各字段采集内容及存储格式是否满足要求?是否与网页一致?是否有信息缺失?
备注:可尝试对每个字段进行升降序排列,然后抽样检查;
是否考虑了网站同一类数据可能出现的数据格式不一致情况?
建议:代码对各个字段不做兼容性处理、数据不一致则抛出异常并记录
- 是
- 否
如果是增量采集,是否最早信息和最晚信息都采集了,同时条目总数是否正确; 如果是批次采集,是否每个批次都有?
备注:需要去网页端评估单个批次的总量; 参考sql语句:SELECT count(1), batch_date from [table_name] GROUP BY batch_date;
如果与另外一张表有关联关系,是否信息关联完整?
- 是否能够长期稳定采集?
- 是否加IP代理?
- 是否支持断点续跑?
- 是否能确保按时启动,定期采集?
- 是否已开启报警?
- 采集频次是否满足要求?
- 采集类型是否满足要求:增量采集 or 批次采集?