mindformers.pet.pet_config.LoraConfig ===================================== .. py:class:: mindformers.pet.pet_config.LoraConfig(lora_rank=8, lora_alpha=16, lora_dropout=0.01, lora_a_init='normal', lora_b_init='zero', param_init_type=None, compute_dtype=None, target_modules=None, exclude_layers=None, freeze_include=None, freeze_exclude=None, **kwargs) LoRA算法的配置信息,用于设置LoRA模型运行时的参数。 参数: - **lora_rank** (int, 可选) - LoRA矩阵的行(列)数。默认值: ``8`` 。 - **lora_alpha** (int, 可选) - lora_rank中的一个常量。默认值: ``16`` 。 - **lora_dropout** (float, 可选) - 丢弃率,大于等于0且小于1。默认值: ``0.01``。 - **lora_a_init** (str, 可选) - LoRA A矩阵的初始化策略。参考 (`LoRA A矩阵的初始化策略 `_)。默认值: ``normal``。 - **lora_b_init** (str, 可选) - LoRA B矩阵的初始化策略。参考 (`LoRA B矩阵的初始化策略 `_)。默认值: ``zero``。 - **param_init_type** (str, 可选) - 初始化张量中的数据类型,如果设置为None,则和替换的层保持一致。默认值: ``None``。 - **compute_dtype** (str, 可选) - 数据的计算类型,如果设置为None,则和替换的层保持一致。默认值: ``None``。 - **target_modules** (str, 可选) - 需要使用LoRA算法替换的层。默认值: ``None``。 - **exclude_layers** (str, 可选) - 不需要使用LoRA算法替换的层。默认值: ``None``。 - **freeze_include** (List[str], 可选) - 待冻结的模块列表。默认值: ``None``。 - **freeze_exclude** (List[str], 可选) - 不需要冻结的模块列表。当freeze_include和freeze_exclude中的某一项冲突时,匹配该项的模块将不会被处理。默认值: ``None``。 返回: LoraConfig实例。