职位描述:
1、服务端系统业务需求对接,技术方案设计和实现。并负责服务器端性能优化和稳定性建设;
2、编写mapreduce代码,对每月数十亿条原始数据,在分布式集群上进行处理,包括etl,清洗,聚合等;
3、使用NLP等文本处理技术对非结构化数据进行处理,生成可供结构化查询的数据库或API。
任职要求:
1、全日制本科以上学历,硕士研究生优先;
2、计算机、数学、物理等理工科相关专业;
3、熟悉python,熟悉python常见library,包括theading,re等;熟悉sql。有hadoop, mongodb, elasticsearch,flask,starrocks,doris等经验者优先。
4、了解nlp;
5、有较强的学习力,适应能力。