Horovod是針對TensorFlow，Keras，PyTorch和Apache MXNet的分布式深度學(xué)習(xí)培訓(xùn)框架。Horovod的目標(biāo)是使分布式深度學(xué)習(xí)快速且易于使用。

Horovod由LF AI和數(shù)據(jù)基金會（LF AI＆Data）托管。如果您是一家致力于在人工智能，機器和深度學(xué)習(xí)中使用開源技術(shù)的公司，并希望在這些領(lǐng)域中支持開源項目的社區(qū)，請考慮加入LF AI和數(shù)據(jù)基金會。有關(guān)誰參與以及Horovod如何扮演角色的詳細(xì)信息，請閱讀Linux Foundation公告。

安裝

要安裝Horovod：

1、安裝CMake

2、如果您已從PyPI安裝TensorFlow ，請確保已安裝g++-4.8.5或g++-4.9或更高版本。

如果您已從PyPI安裝了PyTorch ，請確保已安裝g++-4.9或更高版本。

如果您已經(jīng)從Conda安裝了任何一個軟件包，請確保gxx_linux-64已安裝Conda軟件包。

3、安裝horovodpip包。

要在CPU上運行：

$ pip install horovod

要在具有NCCL的GPU上運行：

$ HOROVOD_GPU_OPERATIONS = NCCL點安裝horovod

$ HOROVOD_GPU_OPERATIONS=NCCL pip install horovod

用法

要使用Horovod，請在程序中添加以下內(nèi)容：

1、運行hvd.init()以初始化Horovod。

2、將每個GPU固定到一個進程，以避免資源爭用。

通常每個進程設(shè)置一個GPU，將其設(shè)置為local rank。服務(wù)器上的第一個進程將被分配第一個GPU，第二個進程將被分配第二個GPU，依此類推。

3、通過工人人數(shù)來衡量學(xué)習(xí)率。

同步分布式培訓(xùn)中的有效批處理規(guī)模是根據(jù)工人人數(shù)來衡量的。學(xué)習(xí)率的提高彌補了批量大小的增加。

4、將優(yōu)化器包裝在中hvd.DistributedOptimizer。

分布式優(yōu)化器將梯度計算委托給原始優(yōu)化器，使用allreduce或allgather對梯度求平均，然后應(yīng)用這些平均梯度。

5、將等級0的初始變量狀態(tài)廣播到所有其他進程。

當(dāng)使用隨機權(quán)重開始訓(xùn)練或從檢查點恢復(fù)訓(xùn)練時，這是確保所有工人進行一致初始化的必要步驟。

6、修改您的代碼以僅在工作程序0上保存檢查點，以防止其他工作程序破壞它們。

使用TensorFlow v1的示例（有關(guān)完整的培訓(xùn)示例，請參閱示例目錄）：

import tensorflow as tf

import horovod.tensorflow as hvd

# Initialize Horovod

hvd.init()

# Pin GPU to be used to process local rank (one GPU per process)

config = tf.ConfigProto()

config.gpu_options.visible_device_list = str(hvd.local_rank())

# Build model...

loss = ...

opt = tf.train.AdagradOptimizer(0.01 * hvd.size())

# Add Horovod Distributed Optimizer

opt = hvd.DistributedOptimizer(opt)

# Add hook to broadcast variables from rank 0 to all other processes during

# initialization.

hooks = [hvd.BroadcastGlobalVariablesHook(0)]

# Make training operation

train_op = opt.minimize(loss)

# Save checkpoints only on worker 0 to prevent other workers from corrupting them.

checkpoint_dir = '/tmp/train_logs' if hvd.rank() == 0 else None

# The MonitoredTrainingSession takes care of session initialization,

# restoring from a checkpoint, saving to a checkpoint, and closing when done

# or an error occurs.

with tf.train.MonitoredTrainingSession(checkpoint_dir=checkpoint_dir,

config=config,

hooks=hooks) as mon_sess:

while not mon_sess.should_stop():

# Perform synchronous training.

mon_sess.run(train_op)

運行Horovod

下面的示例命令顯示了如何運行分布式訓(xùn)練。有關(guān)更多詳細(xì)信息，請參見Run Horovod，包括RoCE / InfiniBand調(diào)整和處理掛起的技巧。

1、要在具有4個GPU的計算機上運行：

$ horovodrun -np 4 -H localhost:4 python train.py

2、要在具有4個GPU的4臺計算機上運行：

$ horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 python train.py

3、要在不使用horovodrun包裝的情況下使用Open MPI運行，請參閱使用Open MPI運行Horovod。

4、要在Docker中運行，請參閱Docker中的Horovod。

5、要在Kubernetes中運行，MPI運算符，Helm Chart，F(xiàn)fDL和Polyaxon。

6、要在Spark上運行。

7、要在Ray上運行。

8、在Singularity運行

9、要在LSF HPC集群（例如Summit）中運行