Add collective communication API docs

docs/api/paddle/distributed/Overview_cn.rst

@@ -48,14 +48,15 @@ Fleet 分布式高层 API
     :header: "API 名称", "API 功能"
     :widths: 20, 50
 
-
+    " :ref:`is_available <cn_api_distributed_is_available>` ", "检查分布式环境是否可用"
     " :ref:`init_parallel_env <cn_api_distributed_init_parallel_env>` ", "初始化并行训练环境，支持动态图模式"
     " :ref:`launch <cn_api_distributed_launch>` ", "启动分布式训练进程，支持集合通信及参数服务器架构"
     " :ref:`spawn <cn_api_distributed_spawn>` ", "启动分布式训练进程，仅支持集合通信架构"
     " :ref:`get_rank <cn_api_distributed_get_rank>` ", "获取当前进程的 rank 值"
     " :ref:`get_world_size <cn_api_distributed_get_world_size>` ", "获取当前进程数"
     " :ref:`new_group <cn_api_distributed_new_group>` ", "创建分布式通信组"
     " :ref:`destroy_process_group <cn_api_distributed_destroy_process_group>` ", "销毁分布式通信组"
+    " :ref:`get_backend <cn_api_distributed_get_backend>` ", "获取指定分布式通信组后端的名称"
 
 .. _03:
 
@@ -89,7 +90,9 @@ Fleet 分布式高层 API
     " :ref:`alltoall <cn_api_distributed_alltoall>` ", "将一组 tensor 分发到每个进程并进行聚合"
     " :ref:`alltoall_single <cn_api_distributed_alltoall_single>` ", "将一个 tensor 分发到每个进程并进行聚合"
     " :ref:`broadcast <cn_api_distributed_broadcast>` ", "将一个 tensor 发送到每个进程"
+    " :ref:`broadcast_object_list <cn_api_distributed_broadcast_object_list>` ", "将一组 object 发送到每个进程"
     " :ref:`scatter <cn_api_distributed_scatter>` ", "将一组 tensor 分发到每个进程"
+    " :ref:`scatter_object_list <cn_api_distributed_scatter_object_list>` ", "将一组 object 分发到每个进程"
     " :ref:`reduce_scatter <cn_api_distributed_reduce_scatter>` ", "规约一组 tensor，随后将规约结果分发到每个进程"
     " :ref:`isend <cn_api_distributed_isend>` ", "异步发送一个 tensor 到指定进程"
     " :ref:`irecv <cn_api_distributed_irecv>` ", "异步接收一个来自指定进程的 tensor"

docs/api/paddle/distributed/broadcast_object_list_cn.rst

@@ -0,0 +1,27 @@
+.. _cn_api_distributed_broadcast_object_list:
+
+broadcast_object_list
+-------------------------------
+
+
+.. py:function:: paddle.distributed.broadcast_object_list(object_list, src, group=None)
+
+将一个 picklable 对象发送到每个进程。
+过程与 ``broadcast`` 类似，但可以传入自定义的 python 对象。
+
+.. note::
+  该 API 只支持动态图模式。
+
+参数
+:::::::::
+    - **object_list** (List[Any]) - 在目标进程上为待广播的 object 列表，在其他进程上为用于接收广播结果的 object 列表。
+    - **src** (int) - 目标进程的 rank，该进程传入的 object 列表将被发送到其他进程上。
+    - **group** (Group，可选) - 执行该操作的进程组实例（通过 ``new_group`` 创建）。默认为 None，即使用全局默认进程组。
+
+返回
+:::::::::
+无返回值。
+
+代码示例
+:::::::::
+COPY-FROM: paddle.distributed.broadcast_object_list

docs/api/paddle/distributed/get_backend_cn.rst

@@ -0,0 +1,20 @@
+.. _cn_api_distributed_get_backend:
+
+get_backend
+-------------------------------
+
+.. py:function:: paddle.distributed.get_backend(group=None)
+
+获取指定分布式通信组后端的名称。
+
+参数
+:::::::::
+    - **group** (Group，可选) - 指定的通信组。默认为 None，即使用全局默认进程组。
+
+返回
+:::::::::
+``str``，通信组后端的名称。
+
+代码示例
+::::::::::::
+COPY-FROM: paddle.distributed.get_backend

docs/api/paddle/distributed/is_available_cn.rst

@@ -0,0 +1,20 @@
+.. _cn_api_distributed_is_available:
+
+is_available
+-------------------------------
+
+.. py:function:: paddle.distributed.is_available()
+
+检查分布式环境是否可用。
+
+参数
+:::::::::
+无
+
+返回
+:::::::::
+``bool``，如果分布式环境可用，返回 True；反之返回 False。
+
+代码示例
+:::::::::
+COPY-FROM: paddle.distributed.is_available

docs/api/paddle/distributed/scatter_object_list_cn.rst

@@ -0,0 +1,28 @@
+.. _cn_api_distributed_scatter_object_list:
+
+scatter_object_list
+-------------------------------
+
+
+.. py:function:: paddle.distributed.scatter_object_list(out_object_list, in_object_list, src=0, group=None)
+
+将一组来自指定进程的 picklable 对象分发到每个进程
+过程与 ``scatter`` 类似，但可以传入自定义的 python 对象。
+
+.. note::
+  该 API 只支持动态图模式。
+
+参数
+:::::::::
+    - **out_object_list** (List[Any]) - 用于接收数据的 object 列表。
+    - **in_object_list** (List[Any]，可选) - 将被分发的 object 列表。默认为 None，因为 rank != src 的进程上的该参数将被忽略。
+    - **src** (int，可选) - 目标进程的 rank，该进程的 object 列表将被分发到其他进程中。默认为 0，即分发 rank=0 的进程上的 object 列表。
+    - **group** (Group，可选) - 执行该操作的进程组实例（通过 ``new_group`` 创建）。默认为 None，即使用全局默认进程组。
+
+返回
+:::::::::
+无返回值。
+
+代码示例
+:::::::::
+COPY-FROM: paddle.distributed.scatter_object_list