爬虫工程师
岗位职责:
1.分析公司指纹浏览器系统在使用过程中遇到的技术难题,例如反爬机制、IP封锁等问题,并提出解决方案
2.定期评估指纹浏览器系统的性能和稳定性,持续更新反爬技术的效率和稳定性。
3.跟踪反爬技术社区以及爬虫系统目标应用网站的技术更新,确保爬虫系统能够适应变化。
4.参与团队内部的技术分享和讨论,促进团队技术成长。
任职要求:
1.计算机科学或相关专业本科及以上学历,1年或以上爬虫开发实战经验。
2.熟悉浏览器指纹技术,了解User-Agent、Cookies、IP池轮换、浏览器行为模拟等反反爬策略,有使用过指纹浏览器产品的经验。
3.熟悉Python编程或Javascript编程,熟练掌握pupeeteer、Scrapy、Selenium、requests等爬虫框架中的一个或多个。
4.优秀的解决问题能力:面对复杂的网络环境和反爬挑战,能快速定位问题并提出解决方案。
5.英文阅读能力强,能够无障碍阅读和学习英文技术文档及资源。