深度学习实践

Index

• 加速训练的方法

  • 内部方法

  • 外部方法

加速训练的方法

内部方法

• 网络结构

  • 比如 CNN 与 RNN，前者更适合并行架构

• 优化算法的改进：动量、自适应学习率

  ./专题-优化算法

• 减少参数规模

  • 比如使用 GRU 代替 LSTM

• 参数初始化

  • Batch Normalization

外部方法

深度学习训练加速方法 - CSDN博客

• GPU 加速

• 数据并行

• 模型并行

• 混合数据并行与模型并行

• CPU 集群

• GPU 集群