From bc00c201473013125308905ced1e8eed96a4673e Mon Sep 17 00:00:00 2001 From: zhangkaihuo Date: Wed, 17 Nov 2021 08:31:19 +0000 Subject: [PATCH 1/5] fix typo --- docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst index 8321b3363ed..05d7aef1612 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst @@ -14,7 +14,7 @@ fused_feedforward src = layer_norm(src) src = linear(dropout(activation(dropout(linear(src))))) if not pre_layer_norm: - src = layer_norm(out) + src = layer_norm(src) 参数 ::::::::: From c0b917ec2a6bcb8e53a5554e69a4d581088eebaa Mon Sep 17 00:00:00 2001 From: zhangkaihuo Date: Wed, 17 Nov 2021 08:48:44 +0000 Subject: [PATCH 2/5] fix typo --- .../api/paddle/incubate/nn/functional/fused_feedforward_cn.rst | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst index 05d7aef1612..40bb8e71930 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst @@ -12,7 +12,8 @@ fused_feedforward residual = src; if pre_layer_norm: src = layer_norm(src) - src = linear(dropout(activation(dropout(linear(src))))) + src = linear(dropout(activation(linear(src)))) + src = residual + dropout(src) if not pre_layer_norm: src = layer_norm(src) From dd2c072f44e6909437ab42c395dabe082fc160f6 Mon Sep 17 00:00:00 2001 From: zhangkaihuo Date: Wed, 17 Nov 2021 09:01:20 +0000 Subject: [PATCH 3/5] fix ffn doc --- docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst index 40bb8e71930..d91eefea4ee 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst @@ -30,7 +30,7 @@ fused_feedforward - **ln2_bias** (Tensor, 可选) - 第二个layer_norm算子的偏置数据，数据类型和 ``ln2_scale`` 一样， 形状是 ``[d_model]`` 。默认值为None。 - **dropout1_rate** (float, 可选) - 第一个dropout算子置零的概率。默认是0.5。 - **dropout2_rate** (float, 可选) - 第二个dropout算子置零的概率。默认是0.5。 - - **activation** (string, 可选) - 激活函数。默认值是relu。 + - **activation** (string, 可选) - 激活函数，当前只支持relu和gelu。默认值是relu。 - **ln1_epsilon** (float, 可选) - 一个很小的浮点数，被第一个layer_norm算子加到分母，避免出现除零的情况。默认值是1e-5。 - **ln2_epsilon** (float, 可选) - 一个很小的浮点数，被第二个layer_norm算子加到分母，避免出现除零的情况。默认值是1e-5。 - **pre_layer_norm** (bool, 可选) - 在预处理阶段加上layer_norm，或者在后处理阶段加上layer_norm。默认值是False。 From 6706d6cb23443e4bda9993bd0b8f3fff39a0205b Mon Sep 17 00:00:00 2001 From: zhangkaihuo Date: Tue, 23 Nov 2021 02:52:52 +0000 Subject: [PATCH 4/5] fix ffn doc --- .../paddle/incubate/nn/functional/fused_feedforward_cn.rst | 5 +++-- 1 file changed, 3 insertions(+), 2 deletions(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst index d91eefea4ee..c8fe646df22 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst @@ -25,9 +25,10 @@ fused_feedforward - **linear1_bias** (Tensor, 可选) - 第一个linear算子的偏置数据，数据类型与 ``x`` 一样，形状是 ``[dim_feedforward]`` 。默认值为None。 - **linear2_bias** (Tensor, 可选) - 第二个linear算子的偏置数据，数据类型与 ``x`` 一样，形状是 ``[d_model]`` 。默认值为None。 - **ln1_scale** (Tensor, 可选) - 第一个layer_norm算子的权重数据，数据类型可以是float32或者float64，形状和 ``x`` 一样。默认值为None。 - - **ln1_bias** (Tensor, 可选) - 第一个layer_norm算子的偏置数据，数据类型和 ``ln1_scale`` 一样， 形状是 ``[d_model]`` 。默认值为None。 + - **ln1_bias** (Tensor, 可选) - 第一个layer_norm算子的偏置数据，数据类型和 ``ln1_scale`` + 一样， 形状是 ``x.shape[-1]`` 。默认值为None。 - **ln2_scale** (Tensor, 可选) - 第二个layer_norm算子的权重数据，数据类型可以是float32或者float64，形状和 ``x`` 一样。默认值为None。 - - **ln2_bias** (Tensor, 可选) - 第二个layer_norm算子的偏置数据，数据类型和 ``ln2_scale`` 一样， 形状是 ``[d_model]`` 。默认值为None。 + - **ln2_bias** (Tensor, 可选) - 第二个layer_norm算子的偏置数据，数据类型和 ``ln2_scale`` 一样， 形状是 ``x.shape[-1]`` 。默认值为None。 - **dropout1_rate** (float, 可选) - 第一个dropout算子置零的概率。默认是0.5。 - **dropout2_rate** (float, 可选) - 第二个dropout算子置零的概率。默认是0.5。 - **activation** (string, 可选) - 激活函数，当前只支持relu和gelu。默认值是relu。 From 53d6c98fe3ecb5c478248131287d629f73d900d1 Mon Sep 17 00:00:00 2001 From: zhangkaihuo Date: Tue, 23 Nov 2021 06:05:57 +0000 Subject: [PATCH 5/5] fix typo --- .../api/paddle/incubate/nn/functional/fused_feedforward_cn.rst | 3 +-- 1 file changed, 1 insertion(+), 2 deletions(-) diff --git a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst index c8fe646df22..56fbc9fad76 100644 --- a/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst +++ b/docs/api/paddle/incubate/nn/functional/fused_feedforward_cn.rst @@ -25,8 +25,7 @@ fused_feedforward - **linear1_bias** (Tensor, 可选) - 第一个linear算子的偏置数据，数据类型与 ``x`` 一样，形状是 ``[dim_feedforward]`` 。默认值为None。 - **linear2_bias** (Tensor, 可选) - 第二个linear算子的偏置数据，数据类型与 ``x`` 一样，形状是 ``[d_model]`` 。默认值为None。 - **ln1_scale** (Tensor, 可选) - 第一个layer_norm算子的权重数据，数据类型可以是float32或者float64，形状和 ``x`` 一样。默认值为None。 - - **ln1_bias** (Tensor, 可选) - 第一个layer_norm算子的偏置数据，数据类型和 ``ln1_scale`` - 一样， 形状是 ``x.shape[-1]`` 。默认值为None。 + - **ln1_bias** (Tensor, 可选) - 第一个layer_norm算子的偏置数据，数据类型和 ``ln1_scale`` 一样， 形状是 ``x.shape[-1]`` 。默认值为None。 - **ln2_scale** (Tensor, 可选) - 第二个layer_norm算子的权重数据，数据类型可以是float32或者float64，形状和 ``x`` 一样。默认值为None。 - **ln2_bias** (Tensor, 可选) - 第二个layer_norm算子的偏置数据，数据类型和 ``ln2_scale`` 一样， 形状是 ``x.shape[-1]`` 。默认值为None。 - **dropout1_rate** (float, 可选) - 第一个dropout算子置零的概率。默认是0.5。