岗位职责:
1. 负责指定网站页面的数据抓取
2. 负责数据解析、清洗
3. 参与python系统的设计、开发、优化,提升爬虫系统的稳定性
任职要求:
1. 1年以上工作经验
2. 基础扎实,熟练使用python,熟悉Linux开发环境,熟悉git使用
3. 熟练使用xpath,re等解析库
4. 熟悉scrapy框架,有修改源码经验优先
5. 熟悉MySQL、MongoDB、Redis数据库,熟悉基本的数据库调优
6. 优秀的分析,解决问题能力,对处理未知的,挑战性的问题充满激情
加分项:
1.有js逆向,验证码处理经验优先
2.了解反爬机制,能独立解决常见反爬
3.有架构设计经验