大数据开发工程师（知名制造企业）

【技能要求】

1.数据任务开发：
-掌握Hadoop/Spark核心组件（HDFS/YARN/MapReduce）的基本原理与应用场景
-熟练编写复杂HiveSQL，具备执行效率调优能力（如分区裁剪、谓词下推等）
-能定位并解决Spark作业常见性能问题（如内存溢出、反压），提升资源使用效率

2.数据建模与架构：
-熟悉星型模型与雪花模型的构建方法，能结合业务需求设计合理的数据模型
-具备企业级数仓分层设计能力（ODS→DWD→DWS→ADS），支撑多业务线的数据整合与分析

3.ETL工具及调度：
-能熟练运用Kettle等ETL工具完成数据抽取、转换与加载，满足业务部门的数据处理需求
-掌握Airflow或DolphinScheduler等调度工具的任务配置、依赖管理与运行监控

4.数据治理：
-参与制定数据生命周期策略，合理规划冷热数据存储方案，兼顾业务可用性与成本控制

5.数据集成：
-具备多源异构数据接入能力（如API、日志、数据库混合采集），保障数据一致性
-熟悉MySQL/Oracle等关系型数据库的常用操作，掌握索引优化等基础性能调优方法

6.报表开发：
-能依据业务场景设计多维度、多指标的综合报表，支持决策分析
-了解ClickHouse/DorisDB集群部署方式，具备查询性能优化经验

7.数据服务与工具开发：
-编写数据质量检测脚本，及时发现异常数据并推动整改
-使用Python或Java开发数据接口服务，协助业务人员掌握自助分析工具

8.业务知识：
-理解所属行业的核心业务逻辑与流程，可独立沟通业务需求，基于数据分析输出有效建议，助力业务改进与创新