mindspore.dataset.text.SPieceTokenizerLoadType

class mindspore.dataset.text.SPieceTokenizerLoadType[源代码]

mindspore.dataset.text.SentencePieceTokenizer 加载类型的枚举值。

可选的枚举值包括：SPieceTokenizerLoadType.FILE和SPieceTokenizerLoadType.MODEL。

SPieceTokenizerLoadType.FILE - 从词典文件中加载SentencePiece分词器。
SPieceTokenizerLoadType.MODEL - 从 mindspore.dataset.text.SentencePieceVocab 对象中加载SentencePiece分词器。