Skip to content

Commit 30bbba0

Browse files
authored
Add sparse_attention warning (#4083)
* Add sparse_attention warnning * add warning
1 parent 667aa66 commit 30bbba0

File tree

1 file changed

+3
-0
lines changed

1 file changed

+3
-0
lines changed

docs/api/paddle/nn/functional/sparse_attention_cn.rst

Lines changed: 3 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -14,6 +14,9 @@ sparse_attention
1414
1515
其中,``Q``,``K``,``V`` 表示注意力模块的三个输入参数。这三个参数的维度是一样的。 ``d`` 代表这三个参数的最后一个维度的大小。
1616

17+
.. warning::
18+
目前该API只在CUDA11.3及以上版本中使用。
19+
1720
参数:
1821
:::::::::
1922
- query (Tensor) - 输入的Tensor,代表注意力模块中的 ``query`` ,这是一个4维Tensor,形状为 :[batch_size, num_heads, seq_len, head_dim],数据类型为float32或float64。

0 commit comments

Comments
 (0)