工作职责:
1.参与数据层建设，专注于垂直领域数据爬取，进行多平台信息的抓取和分析
2.负责日常爬虫应用的维护、开发工作，参与爬虫系统的架构设计与开发
3.实现数据提取、清洗、结构化、入库、统计分析等需求
任职资格:
1.计算机相关专业，良好的编码风格及编码能力
2.有数据爬取的项目或实习经历；
3.熟悉HTTP、HTTPS等网络协议及数据抓包、分析
4.熟悉各种反爬，如验证码、滑块、模拟登陆等
5.掌握相关的数据存储工作，熟悉其基本的工作原理，如Mysql，redis，mongdb，hdfs，hive，有数据库调优和海量数据存储经验
6.责任心强、工作积极、良好的服务意识、较强的工作适应能力，自我驱动