导读:近期更新了《distributed_training》的相关内容,包括《什么是联邦学习?如何用它实现保护数据隐私的分布式AI模型训练?》、《AI音视频模型训练为什么要用分布式训练与混合精度来提速降本》。如果 distributed_training 对你有帮助,请转发和分享本内容。知识因分享而拥有更大能量,感谢您成为这传播链条中的重要一环。
什么是联邦学习?如何用它实现保护数据隐私的分布式AI模型训练? 把模型送到数据所在地训练而不是汇集数据,这种思路正成为隐私合规场景下的主流选择。联邦学习让多方在原始数据不出域的前提下协同构建AI模型,中心服务器只聚合加密的模型参数。本文厘清联邦学习与集中式训练的核心差异,说明横向、纵向与迁移联邦的适用边界,并给出基于Python... 栏目:AI社区 时间:08-18 federated_learning privacy_preserving distributed_training
AI音视频模型训练为什么要用分布式训练与混合精度来提速降本 单卡显存装不下大型音视频模型的参数与中间激活,训练一轮要几天,电费和机器开销很难承受。分布式训练把数据与模型切分到多张卡上并行计算,混合精度用FP16和BF16替代部分FP32运算,既扩显存又减计算量。本文从通信拓扑、精度陷阱、音视频特有负载三个角度,说明如何组合这两种技... 栏目:视频音频 时间:08-13 distributed_training mixed_precision audio_video_model