工作地点：

广东省-深圳市,广东省-广州市

工作职责：

1、负责AI网关的架构设计与核心模块开发工作，实现多集群推理服务智能负载、基于Token的计量&限流控制、语义缓存亲和调度等核心功能；
2、实现基于大模型推理成本与性能最优的智能调度算法，并持续迭代优化；
3、实现大规模Token在线服务的高性能、高稳定性与高SLA能力；
4、跟进业界AI网关前沿技术，打造技术领先、创新突破、不断进化的强大AI网关能力。

任职资格：

1、本科及以上学历，计算机或相关专业优先，具备扎实的计算机基础知识；
2、8年以上工作经验，其中2年及以上AI网关相关开发经验，具备良好的系统设计、代码规范和文档编写能力；
3、精通Go/Java/Python任何一种语言，熟悉多线程、网络、IO等相关技术，熟悉常见算法及数据结构，具备独立项目开发经验；
4、具备扎实的网络基础，有实际参与过AI网关、云网关、LB、NAT等相关系统开发或者性能优化者优先考虑
5、熟练掌握云原生、K8S、微服务开发技术，对中间件、容器、分布式等技术有深入研究，具备较好的系统架构和设计能力；
6、熟悉大模型算法原理，熟悉大模型常见推理框架（vLLM、SGLang、LMDeploy等）和大模型推理原理；
7、诚实守信、作风踏实严谨、责任心强，具备良好团队协作能力精神，学习能力强，善于解决复杂问题。