深度学习训练系统开发专家-北京，杭州

职位描述
●负责PAI平台深度学习框架的技术研发，涵盖MoE模型的大规模训练框架、多模态训练架构、RLHF训练系统等方向，支撑通义实验室及阿里集团内多个业务场景的模型训练需求；参与基模型Pretrain、SFT等关键阶段的训练流程优化；
●专注于提升各阶段模型训练任务的极致吞吐能力，能够对不同模型负载进行系统性性能剖析，定位耗时瓶颈，并实施针对性优化措施，包括但不限于算子层面调优、通信机制改进、分布式策略增强等技术手段；
●主导超大规模训练系统的稳定性建设，通过多种技术方案提升训练任务的实际有效吞吐，打造高效的故障发现机制与自动恢复体系，保障大规模训练过程的流畅性和可靠性；
●参与训练框架在多种硬件平台上的适配与性能优化工作。

职位要求
●具备扎实的工程实现能力，良好的编码规范，熟练掌握Python/C++编程语言，了解常用设计模式，具有复杂软件系统的架构设计、开发与调试经验；
●理解深度学习基本理论，熟悉Transformer结构，了解主流大语言模型和多模态模型的技术特性；
●熟练使用PyTorch等主流深度学习框架，深入理解Megatron、DeepSpeed、JAX等训练框架的设计理念与核心机制；
●具备良好的沟通表达能力和团队协作精神，拥有快速学习新技术的能力，以及持续探索和解决复杂技术问题的韧性；
●掌握计算机体系结构相关基础知识，在异构计算优化（GPGPU/x86/ARM）领域有实践经验，熟悉高性能网络通信优化方法，具备分布式训练策略调优的实际经历；