岗位职责:
1、负责指定网站页面的抓取和提取处理。
2、从海量数据中提取有价值的信息,数据分析支持。
3、参与python系统的架构设计与开发。
4、参与python算法的策略优化研究,提升爬虫系统的稳定性和可扩展性。
5、有验证码破解,反爬、分布式python架构经验优先。
6、快速支撑产品所需数据落地。
任职要求:
1、一年以上工作经验,计算机、电子、通信、物理、数学等相关理工科专业本科及以上学历。
2、基础扎实,熟练使用java或Python,熟悉Linux开发环境。
3、了解反爬机制。
4、了解爬虫原理,熟悉scrapy框架,pyspider框架等。
5、熟悉MySQL\MongoDB\Redis数据库。
6、优秀的分析、解决问题能力,对处理未知的、挑战性问题充满激情。