MindSpore新版本v0.3.0-alpha解读
MindSpore新版本v0.3.0-alpha解读
暨v0.2.0-alpha版本发布1个月,MindSpore v0.3.0-alpha(后简称v0.3)按时推出。每月1个版本节奏的在互联网领域算是中规中矩,但是小伙伴们细看下Release文档,还是可以看出这个版本有众多更新,堪比大版本,诚意十足。
MindSpore又推出什么关键特性了,从中选出了其中3个,带客官细品。先花1min让大家迅速了解MindSpore v0.3版本的特性集锦吧!
差分隐私
差分隐私(Differential Privacy)是一种强大的隐私保护技术,通过限制单个数据对数据分析结果的影响,防止反推个人敏感信息。在AI世界中,差分隐私技术可以限制通过AI模型分析训练数据中的隐私信息。
MindSpore的安全组件提供了差分隐私训练模块,用户可以使用添加高斯噪声的差分隐私优化器(DP-SGD),训练出保护隐私的AI模型。同时MindSpore还提供了差分隐私预算监测器,方便用户在训练过程中跟踪差分隐私的保护效果。
详细的使用可以阅读对应的教程文档:
https://www.mindspore.cn/tutorial/zh-CN/0.3.0-alpha/advanced_use/differential_privacy.html
二阶优化
大家都了解深度学习训练是一个不断逼近损失函数最小值的一个过程,常见的比喻就好比夜行下山,每一步都会求导,方便选择最陡坡方向,以求最快速度到达山下。而二阶优化就是在一阶求导基础上,再进行求导。好比除了看脚下最陡坡的方向外,再看看下一步的坡是否还通向山下的。低头赶路的同时,还抬头看方向,保证在大方向上没有偏差,对于有一定规模的网络是有非常积极的意义的。
MindSpore在v0.3版本中重磅推出了二阶优化,在平衡了二阶带来的额外计算量,在ResNet网络上达到目标精度(0.759)仅用了42个迭代(epoch),比同样软硬件环境下的一阶优化足足快了近1倍(一阶优化使用了81epoch达到目标精度),训练效率极大提高。
这无论在工业或者学术领域都有很大的促进作用,感兴趣的小伙伴可以围观二阶优化脚本:
https://gitee.com/mindspore/mindspore/tree/r0.3/example/resnet50_imagenet2012_THOR
PyTorch一键转化
对于深度学习领域的老司机来说,对于已有网络/模型,想要切换框架要分析网络每层shape,分析算子,手动实现算子等等繁琐操作,朴实无华且枯燥。
那么现在,为了方便大家都能快速切换到MindSpore生态上来,我们提供了模型转换工具,目标将PyTorch训练脚本快速转换成MindSpore训练脚本,自动替换其中90%以上的算子,节省大量算子查询和替换工作。剩余未替换部分也会标注出来,方便用户快速定位,聚焦工作,无异于提升网络/模型迁移效率的大杀器,尝鲜版已经发布,大家赶紧装备试用起来。观望MindSpore框架的小伙伴也可以用起来,快速体验MindSpore框架+Ascend硬件的AI全栈的舒适体验。
工具链接:
https://gitee.com/mindspore/mindinsight/tree/r0.3/mindinsight/mindconverter
总结
上面就是MindSpore v0.3版本的TOP 3特性,可以看出MindSpore每个迭代都有让人欣喜的更新,也体现出MindSpore开发团队深厚的技术底蕴。当然,除了这些,MindSpore还新增支持了DeepFM、DeepLabV3、Wide&Deep等新的模型,修复了一些关键bug,增添了网络迁移教程、自定义算子教程等等。详细的可以查阅:
https://gitee.com/mindspore/mindspore/blob/r0.3/RELEASE.md
非常欢迎大家下载并体验MindSpore,参与到MindSpore开源社区建设中来。
Gitee:https://gitee.com/mindspore/mindspore
GitHub:https://github.com/mindspore-ai/mindspore
论坛:https://bbs.huaweicloud.com/forum/forum-1076-1.html
