工作地点：

北京市,上海市,广东省-广州市,广东省-深圳市

工作职责：

- 负责星辰TokenHub推理引擎核心产品规划与设计，聚焦LLM推理、加速优化、算力调度核心链路，适配公有云、专属云、私有化全部署场景。
- 主导推理服务核心能力建设，负责批量推理、流式推理、KV Cache缓存优化、动态批处理、推理限流熔断、多模型智能路由等功能设计
- 深度梳理推理链路核心痛点，针对性优化推理时延、接口吞吐量、算力利用率，设计异构算力适配、推理资源弹性扩缩容解决方案。
- 搭建完善的推理运维体系，包含全链路监控告警、性能评测、故障排查能力，沉淀标准化产品能力，持续推进推理引擎降本增效与稳定性迭代升级。

任职资格：

- 具备3年及以上AI平台、云服务、MaaS平台产品经验，深耕大模型推理引擎方向，有相关核心模块产品设计实战经验。
- 精通LLM基础推理原理、Token机制、流式交互逻辑，熟练掌握推理加速、缓存优化、算力调度等核心技术逻辑。
- 熟悉分布式架构与高并发推理场景，可独立完成产品方案、PRD、架构文档输出，具备复杂场景需求拆解与落地能力。
- 具备优秀的跨团队协同推进能力，可联动研发、算法团队解决推理性能、资源瓶颈等核心问题。
- 加分项：拥有多技术团队协同，推理引擎平台从0到1搭建经验。