mindspore.dataset.text.Lookup

查看源文件
class mindspore.dataset.text.Lookup(vocab, unknown_token=None, data_type=mstype.int32)[源代码]

根据词表,将分词标记(token)映射到其索引值(id)。

参数:
  • vocab (Vocab) - 词表对象,用于存储分词和索引的映射。

  • unknown_token (str, 可选) - 备用词汇,用于要查找的单词不在词汇表时进行替换。 如果单词不在词汇表中,则查找结果将替换为 unknown_token 的值。 如果单词不在词汇表中,且未指定 unknown_token ,将抛出运行时错误。默认值: None ,不指定该参数。

  • data_type (mindspore.dtype, 可选) - Lookup输出的数据类型。默认值: mstype.int32

异常:
支持平台:

CPU

样例:

>>> import mindspore.dataset as ds
>>> import mindspore.dataset.text as text
>>> # Load vocabulary from list
>>> vocab = text.Vocab.from_list(['深', '圳', '欢', '迎', '您'])
>>> # Use Lookup operation to map tokens to ids
>>> lookup = text.Lookup(vocab)
>>>
>>> text_file_list = ["/path/to/text_file_dataset_file"]
>>> text_file_dataset = ds.TextFileDataset(dataset_files=text_file_list)
>>> text_file_dataset = text_file_dataset.map(operations=[lookup])
教程样例: