功能相关 FAQ
Q: WikiText数据集下载链接失效。
A: 官方下载链接失效,请关注社区Issue #IBV35D。
Q: 如何生成模型切分策略文件?
A: 模型切分策略文件记录了模型权重在分布式场景下的切分策略,一般在离线权重切分时使用。在网络yaml
文件中配置only_save_strategy: True
,然后正常启动分布式任务,便可在output/strategy/
目录下生成分布式策略文件,详细介绍请参阅分布式权重切分与合并教程。
Q: 生成ranktable
文件报错socket.gaierror: [Errno -2] Name or service not known
或者socket.gaierror: [Errno -3] Temporary failure in name resolution
,怎么解决?
A: 从MindSpore Transformers r1.2.0
版本开始,集群启动统一使用msrun
方式,ranktable
启动方式已废弃。
Q: 通过源码安装MindSpore Transformers时依赖包下载速度慢,怎么解决?
A: build.sh
使用清华源下载MindSpore Transformers所依赖的Python包。如需修改镜像源,可以修改build.sh
中下载命令pip install mindformers*whl -i https://pypi.tuna.tsinghua.edu.cn/simple
,将-i
后地址替换为目标镜像源地址。