东京AI推理工程师（不要求日语）

东京AI推理工程师招聘｜可海外申请｜英语即可 不要求日语｜年薪1000万至2000万日元｜提供签证支持

一句话概括：独立设计并落地语音AI与LLM的推理框架，优化吞吐量与GPU成本，该岗位不是做模型API化，也不是做GPU集群运维；

职位名称

AI推理基盘工程师（高级／LLM／语音模型）

薪资待遇

年薪制，1,000万至2,000万日元，可面议，每年一次调薪，设有股票期权制度；

工作地点

东京都千代田区麹町，半藏门WeWork，原则上混合办公，远距离及全远程可商量；

雇佣形式

正式员工，试用期3个月，条件不变，采用专门业务型裁量劳动制，视为劳动时间每日9小时，基本工作时间为10:00至19:00；

语言要求

团队通用语言为英语，不要求日语，会日语或中文者更受欢迎；

海外申请

欢迎海外居住者申请，如需赴日，公司提供工作签证办理支持和搬迁支持；

主要工作内容

一、设计并实现适用于ASR、TTS、语音对话等多种语音模型的通用推理框架，开发供模型团队使用的推理API、SDK和执行工具；

二、面向大规模语音数据的批量推理，设计动态批处理、分桶、多GPU与多节点并行推理，构建异步流水线并持续优化瓶颈；

三、基于vLLM、SGLang等成熟推理引擎构建LLM推理环境，调整并行策略、持续批处理、KV Cache与调度策略；

四、从推理角度设计GPU资源分配与容量规划，通过Kubernetes、Slurm、Ray控制推理任务，并对GPU使用量与成本进行可视化和改善；

不包含的工作

线上服务SLA管理、值班与故障恢复，GPU集群运维与通用SRE工作，CUDA Kernel或推理引擎的从零开发，以及强化学习训练基盘建设；

必备条件

熟练使用Python和PyTorch，能够亲自完成模块实现。

具备GPU集群上的推理基盘实战经验，以及性能分析与成本优化的实绩；

具备异步与并发处理、分布式数据处理、可变长数据批处理与并行推理经验；

能与多个研究和模型开发团队进行技术协调；

能阅读英语技术文献并用英语讨论；

在LLM推理或语音模型推理两个方向中，至少精通其中一个，两者兼备者优先；

加分条件

有Diffusion、Flow Matching、Audio Codec等推理经验；具备C++、CUDA、Triton、NCCL基础及使用Profiler定位瓶颈的能力；有GPU成本管理经验；有内部AI框架或SDK设计经验；有vLLM、SGLang、PyTorch、Ray等开源项目贡献经历；能使用日语或中文沟通；

适合的人才类型

注重动手实践、依据数据和基准测试做判断、不重复造轮子、乐于为其他团队打造易用基础设施的工程师；

福利待遇

各类社会保险齐全；通勤补贴每月最高25,000日元；AI工具补贴每月最高3万日元；提供Claude Code、Cursor、Devin等开发工具；配发MacBook Air与外接显示器；可使用Amazon Business采购工作所需书籍和设备；办公室距半藏门站步行2分钟，馆内饮品免费；每日举办午间交流会，每月举办一次聚餐；

休假制度

周六日、法定节假日、年末年始（12月29日至1月3日）、特别休假，有薪年假首年10天。