昇思亮相GOSIM 2025，分享SGLang支持方案与算子自动生成等最新技术进展

2025年9月13-14日，GOSIM HANGZHOU 2025在杭州成功举办。本次大会汇聚了1500多名开发者和100多位海内外专家，围绕开源与AI技术展开深入交流。昇思MindSpore开源社区在此次盛会上精彩亮相，分享技术创新成果，展示昇思全栈能力，获得与会者的关注。

# 01 SGLang与MindSpore AI框架的深度融合

华为人工智能技术专家王天策分享了《SGLang使能MindSpore框架方案》，介绍了如何将MindSpore高效集成至SGLang这一大语言模型服务框架中，以提升LLM推理性能与开发效率。

在SGLang中集成MindSpore的关键方案：

• 最小化接口设计：通过新增mindspore_runner.py（提供分布式能力）和MindsporeForCausalLM类封装模型，保持与HuggingFace Transformers类似的使用体验，用户仅需添加一行配置即可启用MindSpore后端。
• 跨框架资源共享：通过DLPack实现MindSpore与PyTorch间的Tensor无缝转换，大幅减少内存开销与数据传输延迟。
• 通信组复用：SGLang初始化时创建的通信组可直接被MindSpore复用，避免重复构建，提升分布式推理效率。

该集成方案目前已支持Qwen3系列的稠密模型与MOE模型和Tensor Parallel等关键特性，未来还将支持DeepSeek V3模型以及DP Attention、MoE专家并行、PD分离、量化、投机解码和LoRA等SGLang优化特性，进一步拓展MindSpore在LLM推理与服务领域的生态影响力。

# 02 大模型驱动的算子自动生成技术

MindSpore AKG SIG Maintainer张任伟分享了题为《AIKG：大模型驱动的算子生成技术探索》的议题，系统介绍了基于大语言模型（LLM）的下一代算子自动生成技术AIKG（AI Driven Kernel Generator）。

与传统AI编译技术不同，AIKG构建了一套以LLM为核心、多智能体（Multi-Agent）协同的算子生成框架。该框架通过“文档驱动”接入机制，支持多种前端框架、DSL和硬件后端的灵活扩展，显著降低定制化开发与维护成本。其核心创新包括：

• Unified Sketch设计：将算子生成过程拆分为“草图设计”与“代码生成”两阶段，提升生成可控性与优化效果；
• Conductor智能调度：通过中央调度Agent动态管理任务流，提升复杂场景下的生成效率与成功率；
• 多层级检索增强生成（RAG）：结合算子特征提取与混合检索策略，增强模型对历史优化方案的理解与复用；
• 搜索优化框架：AIKG引入了搜索优化支持，通过多轮迭代、LLM自主分析优化方向的方式，持续优化算子代码性能表现，部分场景性能提升400%。

目前，AIKG已在多个硬件平台上实现高效算子生成。在KernelBench评测中，AIKG在算子生成任务上表现稳定，并构建了覆盖230+用例的AIKG-Bench评测体系，支持静态/动态Shape等多种场景，为大模型、推荐系统、科学计算等AI应用提供高性能算子支持。

# 03 展览互动：昇思社区成果与进展

在大会展览区，昇思社区设置了专门的展示交流区，通过技术展示和面对面交流，全面呈现了框架的最新成果与社区成果。展台吸引了开发者驻足交流，通过深度交流了解昇思MindSpore AI框架的技术优势和应用价值。

会议期间，昇思MindSpore开源社区与开发者、企业代表和学术界专家就AI框架发展趋势和开源社区建设进行深度交流。

通过本次GOSIM大会，昇思社区展示了在AI框架领域的技术实力，与全球开源社区建立了更加紧密的联系。AIKG与SGLang两大技术方案的分享，展示了昇思MindSpore在性能优化、生态扩展和开发者体验方面的持续创新。未来，昇思社区将继续深耕AI框架技术，推动开源生态繁荣发展。