Skip to content

Latest commit

 

History

History
49 lines (31 loc) · 1.54 KB

File metadata and controls

49 lines (31 loc) · 1.54 KB

数据审核

表说明:

表名 含义(更新策略)

一、准确性

字段设计是否满足需求? 表之间的关联字段是否满足要求? (需要人工检查)

注意:是否设计了自增 id,id 的类型是否设置为 bigint? 注意:unique index 是否需要设计? 注意:各张表之间是否需要设计关联字段;

各字段采集内容及存储格式是否满足要求?是否与网页一致?是否有信息缺失?

备注:可尝试对每个字段进行升降序排列,然后抽样检查;

是否考虑了网站同一类数据可能出现的数据格式不一致情况?

建议:代码对各个字段不做兼容性处理、数据不一致则抛出异常并记录

二、全量性

如果是增量采集,是否最早信息和最晚信息都采集了,同时条目总数是否正确; 如果是批次采集,是否每个批次都有?

备注:需要去网页端评估单个批次的总量; 参考sql语句:SELECT count(1), batch_date from [table_name] GROUP BY batch_date;

如果与另外一张表有关联关系,是否信息关联完整?

三、稳定性

  • 是否能够长期稳定采集?
  • 是否加IP代理?
  • 是否支持断点续跑?
  • 是否能确保按时启动,定期采集?
  • 是否已开启报警?

四、采集频次、类型、存储方式

  • 采集频次是否满足要求?
  • 采集类型是否满足要求:增量采集 or 批次采集?