From 0a14b990a935a5148c4213965130ad8aa7161eff Mon Sep 17 00:00:00 2001 From: Liu-xiandong Date: Fri, 12 Nov 2021 02:30:54 +0000 Subject: [PATCH 1/2] Add sparse_attention warnning --- docs/api/paddle/nn/functional/sparse_attention_cn.rst | 3 +++ 1 file changed, 3 insertions(+) diff --git a/docs/api/paddle/nn/functional/sparse_attention_cn.rst b/docs/api/paddle/nn/functional/sparse_attention_cn.rst index ac95e6e6a3d..619f521b179 100755 --- a/docs/api/paddle/nn/functional/sparse_attention_cn.rst +++ b/docs/api/paddle/nn/functional/sparse_attention_cn.rst @@ -9,6 +9,9 @@ sparse_attention 其稀疏数据排布通过CSR格式表示，CSR格式包含两个参数， ``offset`` 和 ``colunms`` 。计算公式为： +.. warning:: + 目前该API只在CUDA11.3及以上版本中使用。 + .. math:: result=softmax(\frac{ Q * K^T }{\sqrt{d}}) * V From e960b1f0dff584c28904f633b7268d1dca7cf000 Mon Sep 17 00:00:00 2001 From: Liu-xiandong Date: Fri, 12 Nov 2021 03:27:59 +0000 Subject: [PATCH 2/2] add warning --- docs/api/paddle/nn/functional/sparse_attention_cn.rst | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/docs/api/paddle/nn/functional/sparse_attention_cn.rst b/docs/api/paddle/nn/functional/sparse_attention_cn.rst index 619f521b179..06e73583f75 100755 --- a/docs/api/paddle/nn/functional/sparse_attention_cn.rst +++ b/docs/api/paddle/nn/functional/sparse_attention_cn.rst @@ -9,14 +9,14 @@ sparse_attention 其稀疏数据排布通过CSR格式表示，CSR格式包含两个参数， ``offset`` 和 ``colunms`` 。计算公式为： -.. warning:: - 目前该API只在CUDA11.3及以上版本中使用。 - .. math:: result=softmax(\frac{ Q * K^T }{\sqrt{d}}) * V 其中，``Q``，``K``，``V`` 表示注意力模块的三个输入参数。这三个参数的维度是一样的。 ``d`` 代表这三个参数的最后一个维度的大小。 +.. warning:: + 目前该API只在CUDA11.3及以上版本中使用。 + 参数： ::::::::: - query (Tensor) - 输入的Tensor，代表注意力模块中的 ``query`` ，这是一个4维Tensor，形状为 :[batch_size, num_heads, seq_len, head_dim]，数据类型为float32或float64。