岗位职责：
1. 负责新一代面向AI的搜索引擎算法工作，负责数据团队的算法工作
2. 负责链接质量：训练模型对链接质量打分，计算优质url以供后续抓取
3. 负责URL归一化模块：挖掘URL无效参数，提高抓取效率
4. 负责索引页挖掘：挖掘索引页，保障时效性网页分钟级抓取
5. 负责页面内容质量：死链检测、色情/博彩/涉政/低质等模型识别
任职条件：
1. 熟悉c/c++、python等编程语言，有良好的编程能力
2. 有一定的数据挖掘算法经验，有一定的机器学习算法经验
3. 有hadoop/spark/hive开发经验，有大数据处理经验
4. 有良好的逻辑思维能力，具有一定的分析和解决问题的能力
5. 有搜索/推荐/广告方向相关经验，对数据敏感