Add sparse update API guide. #399

gongweibao · 2018-11-27T03:10:57Z

No description provided.

shanyi15 · 2018-11-27T03:43:59Z

hi，请截图完整的文档页面，从上到下，谢谢。chrome浏览器有这种工具，例如fireshot

luotao1 · 2018-11-27T09:09:11Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+稀疏更新
+#####
+
+在paddle里，我们提供了embedding接口来支持稀疏更新。他在内部表示为lookup_table operator，他的计算原理为：


embedding接口请加内链

两个“他”-》它

luotao1 · 2018-11-27T09:09:51Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+在paddle里，我们提供了embedding接口来支持稀疏更新。他在内部表示为lookup_table operator，他的计算原理为：
+
+.. image:: ../../../../images/lookup_table_training.png
+   :scale: 50 %


请问这个图，是自己画的，还是网上的呢？

计算原理，不能光放图，请进行必要的文字说明。不然看不懂图。

能否用embeding接口示例，还对应说明下图呢？

咱们自己的图。

为了方便用户理解，建议放上原来的图哈～

luotao1 · 2018-11-27T09:10:51Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+
+- input:
+
+  input是一个paddle的Variable, 其内容为需要查询的id向量。


21行直接放在19行后面，不用另起一行，下同。

试了一下格式会乱掉。

luotao1 · 2018-11-27T09:11:32Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+  input是一个paddle的Variable, 其内容为需要查询的id向量。
+- size:
+
+  size为lookup table的shape，必须为两维。以NLP应用为例，第0一般为词典的大小，第一维一般为每个词对应向量的大小。


第0维（少了维字）

第0维，第一维，请统一

luotao1 · 2018-11-27T09:12:43Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+
+- is_sparse:
+
+  反向计算的时候梯度是否为sparse tensor。如果不设置，梯度是一个LodTensor。默认为False。


sparse tensor给内链。 @shanyi15 我们并没有sparse tensor的文档介绍， @gongweibao 需要补充下sparse tensor的基本概念么？它和LodTensor有什么区别。

暂时先把我们的设计文档链接上了。

luotao1 · 2018-11-27T09:13:38Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+
+- is_distributed:
+
+  标志是否是用在分布式的场景下。一般大规模稀疏更新（embedding的第0维维度很大，比如几百万以上）才需要设置。具体可以参考大规模稀疏的API guide。默认为False。


大规模稀疏的API guide：请放内链

这个龙飞的文档还没有提。。。

typhoonzero · 2018-11-28T02:40:09Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+稀疏更新
+#####
+
+在paddle里，我们提供了 :ref:`api_fluid_layers_embedding`  接口来支持稀疏更新。它在内部表示为lookup_table operator，可以在 `DesignDoc <https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/design/dist_train/distributed_lookup_table_design.md>`_  看到起设计原理


Fluid的fluid.layers.embedding层在单机训练和分布式训练时，均可以支持“稀疏更新”，即梯度以SelectedRows结构存储，只保存梯度不为0的行。
...

在分布式训练中，对于较大的embedding层，开启稀疏更新有助于减少通信数据量，提升训练速度

typhoonzero · 2018-11-28T02:41:31Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+
+- input:
+
+  input是一个paddle的Variable, 其内容为需要查询的id向量。


paddle => Fluid

typhoonzero · 2018-11-28T02:42:31Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+embedding输入参数：
+---------------------
+
+embedding需要输入(input)，形状(size)，是否需要稀疏更新(is_sparse)，是否分布式(is_distributed)，是否padding输出(padding_idx)，参数属性(param_attr)，数据类型(dtype)来决定如何计算。


是否分布式(is_distributed) => 是否使用分布式table(is_distributed)

typhoonzero · 2018-11-28T02:46:03Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+
+embedding需要输入(input)，形状(size)，是否需要稀疏更新(is_sparse)，是否分布式(is_distributed)，是否padding输出(padding_idx)，参数属性(param_attr)，数据类型(dtype)来决定如何计算。
+
+- input:


感觉这里可以不用详细说明参数含义了，只需要说明，在分布式场景下，配置is_sparse和is_distributed参数的含义以及layer并不需要做额外改动即可使用分布式稀疏更新。

加了个例子。Thanks!

同意 @typhoonzero https://github.com/PaddlePaddle/FluidDoc/pull/399/files#r236924367 意见。

typhoonzero · 2018-11-28T02:47:15Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

@@ -0,0 +1,42 @@
+.. _api_guide_conv:


参考：https://github.com/PaddlePaddle/FluidDoc/pull/372#issuecomment-441954816，文档放到`doc/fluid/api/api_guides/low_level/distributed/`

这个。。。文档放到这两个地方应该都可以？

gongweibao · 2018-11-28T07:51:03Z

shanyi15 · 2018-11-29T06:13:30Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+Fluid的 :ref:`api_fluid_layers_embedding`  层在单机训练和分布式训练时，均可以支持“稀疏更新”，即梯度以 `SelectedRows <https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/design/modules/selected_rows.md>`_  结构存储，只保存梯度不为0的行。
+在分布式训练中，对于较大的embedding层，开启稀疏更新有助于减少通信数据量，提升训练速度
+
+embedding输入参数：


参数后的冒号可以去掉～

shanyi15 · 2018-11-29T06:14:58Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+  反向计算的时候梯度是否为 `sparse tensor <https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/design/modules/selected_rows.md>`_  。如果不设置，梯度是一个 `LodTensor <https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/design/concepts/lod_tensor.md>`_  。默认为False。
+- is_distributed:
+
+  标志是否是用在分布式的场景下。一般大规模稀疏更新（embedding的第0维维度很大，比如几百万以上）才需要设置。具体可以参考大规模稀疏的API guide  :ref:`api_guide_async_training`  。默认为False。


Suggested change

标志是否是用在分布式的场景下。一般大规模稀疏更新（embedding的第0维维度很大，比如几百万以上）才需要设置。具体可以参考大规模稀疏的API guide :ref:`api_guide_async_training` 。默认为False。

标志是否用在分布式的场景下。一般大规模稀疏更新（embedding的第0维维度很大，比如几百万以上）才需要设置。具体可以参考大规模稀疏的API guide :ref:`api_guide_async_training` 。默认为False。

shanyi15

LGTM

luotao1 · 2018-12-03T02:08:17Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+稀疏更新
+#####
+
+Fluid的 :ref:`api_fluid_layers_embedding`  层在单机训练和分布式训练时，均可以支持“稀疏更新”，即梯度以 `SelectedRows <https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/design/modules/selected_rows.md>`_  结构存储，只保存梯度不为0的行。


这里SelectRows放设计文档合适么？这篇设计文档不是官方正式release的。

原来的那张图能回来么？加些语句说明即可。比放设计文档好。

Done.谢谢。

luotao1 · 2018-12-03T02:11:30Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+  size为lookup table的shape，必须为两维。以NLP应用为例，第0维一般为词典的大小，第1维一般为每个词对应向量的大小。
+- is_sparse:
+
+  反向计算的时候梯度是否为 `sparse tensor <https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/design/modules/selected_rows.md>`_  。如果不设置，梯度是一个 `LodTensor <https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/design/concepts/lod_tensor.md>`_  。默认为False。


同上，selected_rows的设计文档不要放。

lod_tensor的文档，应该引用https://github.com/PaddlePaddle/FluidDoc/blob/develop/doc/fluid/user_guides/howto/prepare_data/lod_tensor.md @tink2123 由于这篇没有可引用的标题，其他文档如何引用。

这里是否可以写成内链的形式，例如
学习资料是一篇markdown格式的文档

@shanyi15 可以参考下面文档头三行，将md认为rst，加上内链标记
https://raw.githubusercontent.com/PaddlePaddle/Paddle/develop/doc/v2/howto/cmd_parameter/detail_introduction_en.md

.. _cmd_detail_introduction:

可以先用外链链接。

luotao1 · 2018-12-03T02:12:42Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+
+embedding需要输入(input)，形状(size)，是否需要稀疏更新(is_sparse)，是否分布式(is_distributed)，是否padding输出(padding_idx)，参数属性(param_attr)，数据类型(dtype)来决定如何计算。
+
+- input:


同意 @typhoonzero https://github.com/PaddlePaddle/FluidDoc/pull/399/files#r236924367 意见。

gongweibao · 2018-12-03T03:04:51Z

luotao1

图加几句说明吧

luotao1 · 2018-12-03T03:36:40Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+#####
+
+Fluid的 :ref:`api_fluid_layers_embedding`  层在单机训练和分布式训练时，均可以支持“稀疏更新”，即梯度以sparse tensor 结构存储，只保存梯度不为0的行。
+在分布式训练中，对于较大的embedding层，开启稀疏更新有助于减少通信数据量，提升训练速度


第8行缺句号。

luotao1 · 2018-12-03T03:37:12Z

doc/fluid/api/api_guides/low_level/layers/sparse_update.rst

+Fluid的 :ref:`api_fluid_layers_embedding`  层在单机训练和分布式训练时，均可以支持“稀疏更新”，即梯度以sparse tensor 结构存储，只保存梯度不为0的行。
+在分布式训练中，对于较大的embedding层，开启稀疏更新有助于减少通信数据量，提升训练速度
+
+<<<<<<< HEAD


合并的不太对吧，怎么还有HEAD在呢？

和本地版本不一致。已经push -f

luotao1

LGTM

add

c4cf76f

gongweibao requested review from shanyi15 and tink2123 November 27, 2018 03:10

shanyi15 added the API Guide docs related to API Guide label Nov 27, 2018

shanyi15 requested review from luotao1 and typhoonzero November 27, 2018 04:08

luotao1 reviewed Nov 27, 2018

View reviewed changes

gongweibao added 2 commits November 28, 2018 02:10

follow comments

e92ddad

follow comments

252de2b

typhoonzero reviewed Nov 28, 2018

View reviewed changes

follow comments

83b9110

shanyi15 reviewed Nov 29, 2018

View reviewed changes

luotao1 mentioned this pull request Nov 30, 2018

Add async train doc #400

Merged

follow_comments

2f03e19

shanyi15 approved these changes Dec 3, 2018

View reviewed changes

luotao1 reviewed Dec 3, 2018

View reviewed changes

follow comments

c9a8354

merge

eebd67d

luotao1 reviewed Dec 3, 2018

View reviewed changes

gongweibao added 3 commits December 3, 2018 03:58

merge

42766b0

follow comments

9e06598

follow comments

688f054

luotao1 reviewed Dec 3, 2018

View reviewed changes

gongweibao merged commit a58b214 into PaddlePaddle:develop Dec 3, 2018

gongweibao deleted the sparseupdate branch December 3, 2018 07:00


		- input:

		input是一个paddle的Variable, 其内容为需要查询的id向量。


		- is_sparse:

		反向计算的时候梯度是否为sparse tensor。如果不设置，梯度是一个LodTensor。默认为False。


		- is_distributed:

		标志是否是用在分布式的场景下。一般大规模稀疏更新（embedding的第0维维度很大，比如几百万以上）才需要设置。具体可以参考大规模稀疏的API guide。默认为False。


		embedding需要输入(input)，形状(size)，是否需要稀疏更新(is_sparse)，是否分布式(is_distributed)，是否padding输出(padding_idx)，参数属性(param_attr)，数据类型(dtype)来决定如何计算。

		- input:

	标志是否是用在分布式的场景下。一般大规模稀疏更新（embedding的第0维维度很大，比如几百万以上）才需要设置。具体可以参考大规模稀疏的API guide :ref:`api_guide_async_training` 。默认为False。
	标志是否用在分布式的场景下。一般大规模稀疏更新（embedding的第0维维度很大，比如几百万以上）才需要设置。具体可以参考大规模稀疏的API guide :ref:`api_guide_async_training` 。默认为False。

Add sparse update API guide. #399

Add sparse update API guide. #399

Uh oh!

Conversation

gongweibao commented Nov 27, 2018 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

shanyi15 commented Nov 27, 2018

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

gongweibao commented Nov 28, 2018

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

shanyi15 left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

shanyi15 Dec 3, 2018 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

gongweibao commented Nov 27, 2018 •

edited

Loading

shanyi15 Dec 3, 2018 •

edited

Loading