mindspore.dataset.text.SPieceTokenizerLoadType

查看源文件
class mindspore.dataset.text.SPieceTokenizerLoadType[源代码]

SentencePiece分词器的模型输入类型。

可选值如下:

  • SPieceTokenizerLoadType.FILE - 从指定文件路径加载模型。

  • SPieceTokenizerLoadType.MODEL - 从指定词汇表对象加载模型。