From 3345e9dfcee492a55eddb2deaf4b0e61be7811e1 Mon Sep 17 00:00:00 2001 From: Liu-xiandong <85323580+Liu-xiandong@users.noreply.github.com> Date: Fri, 12 Nov 2021 15:18:14 +0800 Subject: [PATCH] Add sparse_attention warning (#4083) * Add sparse_attention warnning * add warning --- docs/api/paddle/nn/functional/sparse_attention_cn.rst | 3 +++ 1 file changed, 3 insertions(+) diff --git a/docs/api/paddle/nn/functional/sparse_attention_cn.rst b/docs/api/paddle/nn/functional/sparse_attention_cn.rst index ac95e6e6a3d..06e73583f75 100755 --- a/docs/api/paddle/nn/functional/sparse_attention_cn.rst +++ b/docs/api/paddle/nn/functional/sparse_attention_cn.rst @@ -14,6 +14,9 @@ sparse_attention 其中,``Q``,``K``,``V`` 表示注意力模块的三个输入参数。这三个参数的维度是一样的。 ``d`` 代表这三个参数的最后一个维度的大小。 +.. warning:: + 目前该API只在CUDA11.3及以上版本中使用。 + 参数: ::::::::: - query (Tensor) - 输入的Tensor,代表注意力模块中的 ``query`` ,这是一个4维Tensor,形状为 :[batch_size, num_heads, seq_len, head_dim],数据类型为float32或float64。