@@ -25,16 +25,16 @@ Adaptive Gradient 优化器(自适应梯度优化器,简称Adagrad)可以
2525参数
2626::::::::::::
2727
28- - **learning_rate ** (float|Tensor) - 学习率,用于参数更新的计算。可以是一个浮点型值或者一个值为浮点型的Tensor.
29- - **epsilon ** (float, 可选) - 维持数值稳定性的浮点型值,默认值为1e-06.
30- - **parameters ** (list, 可选) - 指定优化器需要优化的参数。在动态图模式下必须提供该参数;在静态图模式下默认值为None,这时所有的参数都将被优化。
28+ - **learning_rate ** (float|Tensor) - 学习率,用于参数更新的计算。可以是一个浮点型值或者一个值为浮点型的Tensor。
29+ - **epsilon ** (float, 可选) - 维持数值稳定性的浮点型值,默认值为1e-06。
30+ - **parameters ** (list, 可选) - 指定优化器需要优化的参数。在动态图模式下必须提供该参数;在静态图模式下默认值为None,这时所有的参数都将被优化。
3131 - **weight_decay ** (float|WeightDecayRegularizer,可选) - 正则化方法。可以是float类型的L2正则化系数或者正则化策略: :ref: `cn_api_fluid_regularizer_L1Decay ` 、
3232 :ref: `cn_api_fluid_regularizer_L2Decay ` 。如果一个参数已经在 :ref: `cn_api_fluid_ParamAttr ` 中设置了正则化,这里的正则化设置将被忽略;
3333 如果没有在 :ref: `cn_api_fluid_ParamAttr ` 中设置正则化,这里的设置才会生效。默认值为None,表示没有正则化。
34- - **grad_clip ** (GradientClipBase, 可选) – 梯度裁剪的策略,支持三种裁剪策略: :ref: `paddle.nn.ClipGradByGlobalNorm <cn_api_fluid_clip_ClipGradByGlobalNorm >` 、 :ref: `paddle.nn.ClipGradByNorm <cn_api_fluid_clip_ClipGradByNorm >` 、 :ref: `paddle.nn.ClipGradByValue <cn_api_fluid_clip_ClipGradByValue >` 。
34+ - **grad_clip ** (GradientClipBase, 可选) – 梯度裁剪的策略,支持三种裁剪策略: :ref: `paddle.nn.ClipGradByGlobalNorm <cn_api_fluid_clip_ClipGradByGlobalNorm >` 、 :ref: `paddle.nn.ClipGradByNorm <cn_api_fluid_clip_ClipGradByNorm >` 、 :ref: `paddle.nn.ClipGradByValue <cn_api_fluid_clip_ClipGradByValue >` 。
3535 默认值为None,此时将不进行梯度裁剪。
36- - **name ** (str, 可选) - 该参数供开发人员打印调试信息时使用,具体用法请参见 :ref: `api_guide_Name ` ,默认值为None
37- - **initial_accumulator_value ** (float, 可选) - moment累加器的初始值,默认值为0.0
36+ - **name ** (str, 可选) - 该参数供开发人员打印调试信息时使用,具体用法请参见 :ref: `api_guide_Name ` ,默认值为None。
37+ - **initial_accumulator_value ** (float, 可选) - moment累加器的初始值,默认值为0.0。
3838
3939代码示例
4040::::::::::::
@@ -52,4 +52,4 @@ Adaptive Gradient 优化器(自适应梯度优化器,简称Adagrad)可以
5252 parameters = linear.parameters())
5353 out.backward()
5454 adagrad.step()
55- adagrad.clear_grad()
55+ adagrad.clear_grad()
0 commit comments