岗位职责
1.参与分布式爬虫系统的设计与开发;
2.负责平台外部数据覆盖,并解决高并发爬取、海量存储等问题,
3.负责监控框架的迭代和改进,维护所需资源池,并探索最新的技术能力
岗位要求:
1.具有扎实的计算机基础知识,熟悉数据结构与算法、网络编程等相关技术;
2.熟悉多种爬虫工具和框架,如Scrapy、Requests、Selenium等,并能熟练运用其进行数据采集和处理;
3.精通Python或其他任意一种编程语言,熟悉常用数据库 (如MySQL、Oracle等) 、常用操作系统 (如Lnux、Windows等)等;
4.熟悉HOOK技术、反混淆处理;
5.熟练使用frida、unidbg、ida等逆向工具或框架
6.精通JS逆向、Android/iOS逆向分析等技能: