mindspore.dataset.text.SPieceTokenizerOutType
- class mindspore.dataset.text.SPieceTokenizerOutType[源代码]
mindspore.dataset.text.SentencePieceTokenizer
输出类型的枚举值。可选的枚举值包括:SPieceTokenizerOutType.STRING和SPieceTokenizerOutType.INT。
SPieceTokenizerOutType.STRING - 表示SentencePiece分词器的输出类型为string。
SPieceTokenizerOutType.INT - 表示SentencePiece分词器的输出类型为int。