“互联网+”获奖项目专访 | 国内首个“智能3D医学影像平台”分享

2022第八届中国国际“互联网+”大学生创新创业大赛

昇思MindSpore开发者勇夺"1金3银5铜"

MindSpore特邀9个获奖团队分享项目经验

PART ONE

团队介绍

医工致行团队

1.项目成员

齐思雨、王惠琳、陈云青、陈虹宇、陈诚、邹瀚影、王澜颖、刘琳琳、黄珩、柳佳琳、赵阳、胡秀军、朱嘉华、裴翠翠

2.指导老师

肖若秀

3.学校

北京科技大学

4.团队简介

在社会责任方面，团队为抗击疫情做出了卓越贡献，实现了新冠病毒感染肺的国际首次数字化三维重建，开发的AR远程指导系统在20余家抗疫一线医院应用，研究成果获《科学网》、《教育部官网》等多家媒体报道。同时，团队与医院多个科室展开合作，开发了一系列医学影像智能分析算法，为医生提供了上千例量化辅助诊疗方案。

PART TWO

项目访谈

项目名称

基于昇思MindSpore的智慧医疗创新解决方案

获奖情况

2022第八届中国“互联网+”大学生创新创业大赛 全国总决赛铜奖

Q1 为什么选择这个赛题？

在当下，传统医疗领域存在着两大痛点问题。第一，目前医学影像主要是以切片的二维形式呈现，三维重建时需要有经验的医生一张张手工标注，费时费力，三维重建速度慢；第二对患者每次做完检查，人手一张塑料胶片，不仅尺寸大不易携带，且各医疗机构间信息不互认，患者跨院就诊需要重复拍片，造成极大的资源浪费。此外，对于医院来说，每次CT检查影像多达上千幅，传统胶片难以承载全面的影像信息，医院也难以保存日益膨胀的影像数据。这些问题深刻地制约着医学领域的发展与进步，解决他们势在必行，刻不容缓。

而昇思MindSpore框架可以实现易开发、高效执行、全场景覆盖三大目标，其中易开发表现为API友好、调试难度低，高效执行体现在计算效率、数据预处理效率和分布式训练效率三个方面，全场景则指框架同时支持云、边缘以及端侧场景，因此，我们选择了这个赛题。

Q2 请详细介绍一下参赛的项目。

项目是在智慧医疗背景下，依托华为开源的新一代全场景AI框架昇思MindSpore和云端存储技术，建立的国内首个“智能3D医学影像平台”。平台主要由3D-PDF报告、移动端3D云模型和3D打印模型组成。

利用框架云边端协同训练优势，实现医学图像快速、精准三维重建，基于框架实现的病灶三维重建模型可以通过3D-PDF报告和3D打印模型的形式为患者提供服务。

其中3D-PDF报告节省了存储空间，且可通过手势实现交互操作、器官显隐和病灶测量，可有效提高医患沟通效率；产品移动端3D云模型将病灶三维影像存储至华为云端，通过二维码实时获取影像数据，从而打破传统影像信息孤岛，实现医学诊疗平台的创新应用。

截至目前团队已与全国二十余所三甲医院建立深入合作，发表学术论文40余篇，申报国家发明专利20余项，研发产品已成功辅助上千例手术。

Q3 请介绍一下项目核心创新点在哪？****

当前三维重建速度慢、过度依赖硬件设备且交互不通畅。团队利用昇思框架的高性能计算优势以及MindConverter实现第三方框架模型迁移，提高数据训练分割速度，相较于其他框架对常用算子进行定制优化的方案更加灵活，更具扩展性。

对医院而言，如果能够把PACS系统中所有的影像资料都存储在一个虚拟平台上，不仅能够降低医院储存成本、提高医院信息化服务，而且能让不同医院、不同地区的的医生共享影像数据。对患者而言，方便患者管理自己的影像档案，还可远程授权医生阅片。

影像上云是大势所趋，医工致行发现了传统的PACS系统的短板，结合华为云存储优势，在医疗机构影像存储问题给出了解决方案。采用本地与云端一体的混合架构系统，把医学影像数据存储于云端，一次性解决解决存储扩容压力。

华为云存储具有海量、在线、灾备、安全防护等优势，能便捷、高效地解决现实就医过程中医院和患者的诸多难题。

同时，影像资料以数字化形式存于云端，患者通过手机进行二维码扫描，即可获取自己的影像信息，长久存储于云端，实现存储、调阅、下载。还可授权专家远程读片，解决疑难病症。

Q****4 项目遇到的难点、痛点是如何解决的？

便携性医疗影像平台首先遇到的困难是对便携性，准确度以及速度的要求，因此平台对所使用的影像分割技术提出了很高要求。在便携式医疗影像平台的产品研发过程中，团队使用了包含股骨、舟骨、肺部等多种区域的影像数据集，MindSpore框架具有高效处理的数据的pipeline，团队使用了MindRecord数据集格式，将自有数据集转换后，再通过MindDataset实现了高效的统一加载，为模型训练提供了良好的数据基础。在数据集基础上搭建了3D U-Net，U-Net++，V-Net等医学影像分割模型。

由于医学影像是3D结构，并且图像尺寸较大，采用传统框架，往往会存在训练速度慢，模型切换复杂等问题，借助MindSpore框架的数据并行、模型并行特点，将串行的训练方式转为并行方式，有效地解决了医学影像尺寸较大，训练缓慢的问题。

同时昇思MindSpore的前向自动微分与反向自动微分的特性帮助团队有效地减小了代码量，提高了易用性。最终团队基于昇思MindSpore搭建的深度学习网络能够很好地实现对目标医学影像的快速分割，准确率高并且易于部署，符合便携性医疗影像平台的设计原则。

平台当前面对的最大挑战是三维重构的算法依旧复杂，3D可视化图像的建立依赖电脑的运行性能，大量的数据让算法运行缓慢。所以为了优化用户的体验，同时也满足对成像精度的高要求，三维重构的算法对数据要求会非常高。然而当前市场上智能影像产品还只是作为第三类医疗器械，对产品的普及而言门槛较高。在这种情况下，数据的获取就成为发展的阻碍。如何组建一个拥有充足数据的数据库是挑战的一部分。

如果仅仅依靠用户反馈和使用数据的分析形成数据库，虽然能保证数据的真实性，但是也存在搜集成本过高、数据搜集难、样本数量少的缺点。高负担的数据部分也会导致高成本，这些最终会在产品价格上体现。

所以为了解决数据难题，我们确定了以技术成果带动数据分析的策略，开发新的方法提高数据利用率，通过对原有真实数据的学习和预测，通过计算机技术模拟出更多的使用数据。进一步利用计算机技术提高模拟数据的精确度，利用更多的有效数据针对三维重构进行优化是重中之重。

Q5 请问你们****项目未来的应用场景是如何的？

我们的系统已经在北京市、湖北省和其他地区的众多医院中进行了试点工作，如中国人民解放军总医院、华中科技大学医学院附属武汉协和医院。

这些试点医院的临床应用实际使用体验反馈，充分证明了该系统在医患沟通，手术方案规划治疗等具有较大的实际使用价值。不仅可以减少不必要的影像资源浪费，降低伤口感染率，帮助患者了解病情，还能使年轻医护人员快速掌握临床技能、应对临床突发问题，利用便携式平台达到快速提升临床医护人员救治效能的目的，应用前景广阔。

Q6 请****说一说使用昇思MindSpore的体验。

昇思MindSpore具有易上手，API简洁，高效执行等优点。团队在使用MindSpore框架过程中，充分意识到基于源码转换的自动微分机制的优越性，动态图与静态图之间的快捷切换，这是传统深度学习模型不具有的优势。

而在昇思MindSpore全场景AI框架1.6版本中提供的模型迁移工具MindConverter，可以帮助用户快速实现第三方框架主流模型的一键迁移，为团队代码转换带来了极大的便利。可以采用主流AI框架IR到昇思MindSpore IR的转换方案，使得转换后的模型可推理可重训，具有较好的模型脚本可读性。最后希望昇思MindSpore能够持续优化，越办越好。

Q7 在参与互联网+比赛中有什么收获和经验？

参加竞赛后，我们成员们对自己从事研究的领域有了更多的了解。在竞赛过程中，为了解医疗领域的实际需求，负责人齐思雨同学带领团队深入医院进行调研，接触到了更多的医生和患者，强化了项目的社会意义和经济效益。

PART THREE

导师访谈

肖若秀

**肖若秀，**北京科技大学计算机与通信工程学院副教授，”北科大-维卓“智能医学联合实验室主任，山东大学数学与应用专业学士，北京理工大学光学工程专业博士，清华大学生物医学工程博士后，斯坦福大学医学院访问学者。

主要研究方向是医学图像处理、计算机辅助诊疗。已发表SCI/EI学术论文40余篇，其中SCI一作/通信论文23篇，主编学术著作1部，参译著作1部，申报国家发明专利15项，已授权6项。

主持国家自然科学基金、北京市科委项目各1项，中国医学科学院中国健康长寿创新项目1项，中央高校基本科研业务项目3项，参与省部级以上项目10余项。

Q1 请老师谈谈陪伴学生参加本次比赛获得佳绩的心路历程。

这次比赛，我感受到了我们每个学生的头脑中都有一块未开垦的领地，需要用创新意识去点燃兴趣、点燃梦想、点燃指挥、点燃对科技的渴望与追求，只有这样才能把创新思想落实是到实践中，促进科技的发展。

Q2 老师有什么想对自己学生说的？

创新创业大赛贵在参与，通过参与大家都提高了自己的能力，丰富了自己的人生。努力出一点成果是值得庆贺的，没有获奖也要坦然面对。改变思维方式、积极落地实践，每个人都能成为领域的创造者和革新者。

看完上面的分享，相信屏幕前的小孢子们也一定收获满满吧！我们要在立足于自己的专业，善于观察，善于思考，灵感只留给用心的人哦。

本期采访就到这里，下一期内容更精彩，速速关注我们吧！