大数据开发工程师

岗位职责:
1、主导大数据平台的整体架构设计与核心功能开发；
2、负责数据仓库的搭建、维护及性能优化；
3、基于Hadoop等分布式技术体系开展数据处理与深度分析；
4、开发MapReduce任务及Spark批处理作业；
5、参与数据挖掘类项目的方案设计与落地执行。

任职要求:
1.表达流畅，逻辑思维能力强。
2.掌握大数据技术生态体系
*分布式计算框架：熟悉Hadoop、Spark、Flink的运行机制，并具备调优与问题定位能力。
*数据处理工具：熟练使用Hive、Pig、SparkSQL、FlinkSQL等进行数据加工。
*实时与离线数据湖架构：了解Lambda/Kappa架构模型，掌握ODS/DWD/DWS/ADS分层建模方法。
*消息中间件：熟悉Kafka、Pulsar、RocketMQ，能够应对消息积压、顺序消费等典型场景。
3.数据存储与查询能力
*掌握HDFS、HBase、Cassandra等分布式存储系统原理与应用。
*熟悉Parquet、ORC等列式存储格式，了解ClickHouse、Doris、Presto等OLAP查询引擎。
4.数据治理与质量保障
*具备实际项目中数据清洗、去重及一致性校验的实践经验。