ACM通信
ACM TechNews
Hpc技术推动深度学习规模化发展
百度的硅谷人工智能实验室发布了一种改进的环全减少OpenMPI算法的实现，这将使跨图形处理单元节点的神经网络训练更快。
信贷:HPCwire
百度的硅谷人工智能实验室(SVAIL)发布了一种针对深度学习社区的环形全减少OpenMPI算法的改进实现，这将使跨图形处理单元(GPU)节点的神经网络训练更快。
与OpenMPI版本不同，SVAIL修改避免了在中央处理单元(CPU)和GPU之间产生多余的副本。
百度表示，尽管该技术在高性能计算领域很常见，但在人工智能和深度学习领域却未得到充分应用。与使用单个GPU相比，在40个GPU上环全减容算法大约快31倍。
该算法使SVAIL团队获得了线性扩展到128 GPU的GPU，并并行化了其语音识别模式Deep Speech 2的训练。
在该方法最初开发两年后，研究人员发布了两个非专有实现，一个用于TensorFlow，另一个用于更通用的应用。
从HPC线
查看全文
版权所有©2017公司的信息。美国马里兰州贝塞斯达
没有发现记录