代码
一键部署,开箱即用!MindSpore加速DeepSeek大模型推理研讨成功举办

一键部署,开箱即用!MindSpore加速DeepSeek大模型推理研讨成功举办

一键部署,开箱即用!MindSpore加速DeepSeek大模型推理研讨成功举办

MindSpore Developer Day 2025于2025年4月12日在杭州举办。本次大会由昇思MindSpore开源社区主办,聚焦AI框架技术创新与开源开发者生态共建,展示其端到端全流程支持DeepSeek等MoE大模型训练、微调、强化学习与推理部署的技术,以及在科学智能、开发易用性等领域和方向的技术创新与成果。

作为本次大会重要的一环,SIG Gathering吸引了众多开发者的关注。其中,《MindSpore加速DeepSeek大模型推理研讨》专题围绕MindSpore面向DeepSeek-V3/R1等大模型的推理加速技术,开发者们对大模型推理技术演进趋势与应用创新方向展开深入的讨论,现场氛围热烈。

昇思MindSpore技术专家潘邵武为大家分享了在大模型技术高速发展背景下,昇思MindSpore面向DeepSeek-V3/R1为代表的大模型,设计与实现的推理加速方案。其主要面向一体机和大集群应用场景,支持一键式部署和开箱即用。同时采用图算融合、TP+DP+EP混合并行、8bit/4bit量化等技术组合,有效提升推理系统的吞吐率。同时,展示了昇思MindSpore通过开发vLLM-MindSpore插件,实现基于vLLM的推理服务部署的能力,及后续版本路标。

北京大学计算中心工程师龙汀汀分享了北京大学依托昇腾+昇思算力底座,联合华为打造的DeepSeek全栈开源推理方案,并展示了在北大训推一体平台SCOW上,使用MindSpore Transformers大模型套件进行Qwen1.5-7B模型推理、DeepSeek系列模型一键部署。同时介绍了北大自研的大模型应用,包括未名小蒜、大模型训练场、校园助手、北大问学、AIMD智能医学博士等等,在各个方面便利北大师生的工作、学习和生活。

上海殷泊信息科技有限公司创始人兼CEO鲁为民分享了增强大模型的推断能力的技术,包括通过CoT(Chain-of-Thought)提示来引导出思维链,对同一个问题生成多个CoT,推断时树搜索以及反馈-精炼的自我完善等。同时介绍了MoPaas大模型应用引擎结合MindSpore,通过集成大模型和企业自主知识库、私有知识库、RAG引擎和Agent框架等,加速企业AI应用落地。

上海珑京信息科技有限公司AI产品总监兼高级人工智能训练师李伟分享了“云上”+“云下”大模型解决方案,基于MCP大模型创新落地“新泛式”应用模式,支持多场景灵活部署。同时,展示了南京水厂知识库、南昌军队知识库等问答系统、银行文案编辑的端到端文本生成系统、央国企舆情分析监控系统等应用案例。上海珑京信息科技有限公司聚焦于企业在AI部署上的难题,不断助力AI应用落地。

开发者围绕多模态大模型、数据安全、推理性能优化等话题展开讨论,明确了面向开发者提供更易用的推理调优方案,支持多模态大模型等技术路线。

本次会议上,开发者们围绕昇思MindSpore贡献了大量宝贵想法和建议,昇思MindSpore开源社区的繁荣发展受益于每一位SIG组成员的积极贡献。