mindspore.ops.ApplyAddSign

class mindspore.ops.ApplyAddSign[源代码]

根据AddSign算法更新相关参数。

\[\begin{split}\begin{array}{ll} \\ m_{t+1} = \beta * m_{t} + (1 - \beta) * g \\ \text{update} = (\alpha + \text{sign_decay} * sign(g) * sign(m)) * g \\ var = var - lr_{t+1} * \text{update} \end{array}\end{split}\]

\(t\) 代表更新步长,而 \(m\) 代表第一个动量矩阵, \(m_{t}\)\(m_{t+1}\) 的最后时刻, \(lr\) 代表学习率 lr\(g\) 代表 grad\(\alpha\) 代表 alpha\(\beta\) 代表 beta

varaccumgrad 的输入遵循隐式类型转换规则,使数据类型一致。如果它们具有不同的数据类型,则低精度数据类型将转换为相对最高精度的数据类型。

输入:

  • var (Parameter) - 要更新的权重。任意维度,其数据类型为float32或float16。

  • m (Parameter) - 要更新的权重,shape和数据类型与 var 相同。

  • lr (Union[Number, Tensor]) - 学习率,必须是Scalar。数据类型为float32或float16。

  • sign_decay (Union[Number, Tensor]) - 必须是Scalar。数据类型为float32或float16。

  • alpha (Union[Number, Tensor]) - 必须是Scalar。数据类型为float32或float16。

  • beta (Union[Number, Tensor]) - 指数衰减率,必须是Scalar。数据类型为float32或float16。

  • grad (Tensor) - 梯度,shape和数据类型与 var 相同。

输出:

2个Tensor组成的tuple,更新后的数据。

  • var (Tensor) - shape和数据类型与 var 相同。

  • m (Tensor) - shape和数据类型与 m 相同。

异常:

  • TypeError - 如果 varlralphasign_decaybeta 的数据类型既不是float16也不是float32。

  • TypeError - 如果 lralphasign_decay 既不是数值型,也不是Tensor。

  • TypeError - 如果 grad 不是Tensor。

  • RuntimeError - 如果不支持参数的 varaccumgrad 数据类型转换。

支持平台:

Ascend

样例:

>>> class Net(nn.Cell):
...     def __init__(self):
...         super(Net, self).__init__()
...         self.apply_add_sign = ops.ApplyAddSign()
...         self.var = Parameter(Tensor(np.array([[0.6, 0.4],
...                                               [0.1, 0.5]]).astype(np.float32)), name="var")
...         self.m = Parameter(Tensor(np.array([[0.6, 0.5],
...                                             [0.2, 0.6]]).astype(np.float32)), name="m")
...         self.lr = 0.001
...         self.alpha = 1.0
...         self.sign_decay = 0.99
...         self.beta = 0.9
...     def construct(self, grad):
...         out = self.apply_add_sign(self.var, self.m, self.lr, self.alpha, self.sign_decay, self.beta, grad)
...         return out
...
>>> net = Net()
>>> grad = Tensor(np.array([[0.3, 0.7], [0.1, 0.8]]).astype(np.float32))
>>> output = net(grad)
>>> print(output)
(Tensor(shape=[2, 2], dtype=Float32, value=
[[ 5.99403024e-01,  3.98607016e-01],
 [ 9.98010039e-02,  4.98407990e-01]]), Tensor(shape=[2, 2], dtype=Float32, value=
[[ 5.70000052e-01,  5.19999981e-01],
 [ 1.89999998e-01,  6.20000064e-01]]))