mindspore.dataset.text.SPieceTokenizerOutType

class mindspore.dataset.text.SPieceTokenizerOutType

mindspore.dataset.text.SentencePieceTokenizer 输出类型的枚举值。

可选的枚举值包括： SPieceTokenizerOutType.STRING 和 SPieceTokenizerOutType.INT 。

• SPieceTokenizerOutType.STRING - 表示SentencePiece分词器的输出类型为string。

• SPieceTokenizerOutType.INT - 表示SentencePiece分词器的输出类型为int。