mindspore.dataset.text.SentencePieceModel

class mindspore.dataset.text.SentencePieceModel

SentencePiece的子词算法。

可选值如下：

• SentencePieceModel.UNIGRAM ： 单字符语言模型 子词算法。

• SentencePieceModel.BPE ： 字节对编码 子词算法。

• SentencePieceModel.CHAR ：基于字符的子词算法。

• SentencePieceModel.WORD ：基于单词的子词算法。