岗位职责：
1、根据公司发展需求，制定数据收集、鉴别、聚合、应用策略
2、爬虫系统的架构设计与开发，构建抓取服务平台
3、设计算法，制定防屏蔽规则，提升网页抓取的效率和质量，能够快速且有效的进行数据清洗与文本挖掘