【工作职责】
1. 参与设计和开发分布式爬虫系统;
2. 研究各种网站、链接的形态,发现它们的特点和规律;
3. 解决技术疑难问题,包括反爬极致、反爬风控、人机对抗;
4. 搭建通用爬虫监控、消息推送分布式系统。
5. Golang/Rust 开发方向,全栈能力综合培养;
【任职要求】
1. 精通python、计算机网络,熟练使用多线程,熟悉常用爬虫框架;
2. 熟悉常用代理软件部署,底层实现逻辑;
3. 熟悉Golang,有Golang的项目开发经验。
4. 熟悉微服务架构组件,Docker,Kubernetes,Jekins等工具;
5. 熟悉Linux、MySQL、MongoDB等常用数据库,熟悉分布式队列,中间件等常用基础架构组件;
6. 熟悉js逆向,混淆原理,js AST语法树,客户端常用签名算法等。熟悉移动端逆向或者PC端逆向更优(IOS Android Windows 二进制逆向;
7. 能够解决网络链路分析、流量识别、验证码识别、图像识别等问题;
8. 熟悉wireshark tcpdump等进行流量分析。
盯潮正式成立于 2019年1月,我们的愿景是成为一家国际化潮流集团。以引领潮流、走向世界为使命,坚守成为好人、持续创业的价值观。
目前业务覆盖国内外潮流领域内C端的社区、媒体、工具,B端的SaaS、金融,拥有多个业内头部产品。