高级大数据开发工程师
qy2021-03-10
岗位职责：
1、负责项目中数据处理工作，分析原始数据并采用合适的算法，对数据去重、清洗、分析、转换与入库；
2、负责数据仓库ETL的性能、存储、调度等问题 ；
3、维护大数据框架组件，如airflow、ES、kafka、flink等
4、通过理解业务、数据建模、数据挖掘等手段，提高业务决策的速度和准度，熟悉机器学习算法模型。
5、跨部门和产品经理以及工程师合作，确保数据源的完整和准确
岗位要求：
1. 本科及以上学历，计算机相关专业，5年以上大数据开发经验或算法模型开发相关工作经验
2、对大数据基础架构和平台有深刻理解，对基于Hadoop的大数据体系有深入认识，精通大数据开发框架(flink、Hadoop、Hive、HBase、Kafka、ES等)。
3、精通Python、SQL等
4、对数仓有一定理解，理解维度建模的概念
4、对数据敏感，对业务问题充满好奇心，优秀的逻辑思维能力与跨团队沟通协调能力
加分项：
1、有爬虫相关工作经验，主流电商网站抓取经验
2、对机器学习、深度学习框架(如tensorflow、keras等)、数据挖掘有了解的优先
