抓取那点事

抓取
获取页面
ip封锁
账号管理
自动登录
验证码识别
cookie管理
结构化数据解析
页面多个字段文本到结构化数据的映射
substring
split
pattern
任务扩散与过滤
过滤规则
同级扩散规则
下一级扩散规则
父级扩散规则
调度机制
不同批次之间
同一批次不同级别
失败任务管理