当前位置:首页 > Deepseek最新资讯 > 正文内容

DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库

7个月前 (02-25)Deepseek最新资讯389

【DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库】财联社2月25日电,DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍,DeepEP是第一个用于MoE(混合专家)模型训练和推理的EP(Expert Parallelism,专家并行)通信库,可以实现高效且优化的全对全通信,支持包括FP8在内的低精度运算,适配现代高性能计算需求。同时,DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化,不仅提供了高吞吐量,还支持SM(Streaming Multiprocessors)数量控制,兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景,DeepEP还提供了纯RDMA的低延迟内核,支持自适应路由,能实现更灵活的GPU资源控制,满足不同场景需求。

“DeepSeek开源第一个用于混合专家模型训练和推理的高效专家并行通信库” 的相关文章

我问Deepseek,人如何才能大彻大悟,看完答案我醒了

我问Deepseek,人如何才能大彻大悟,看完答案我醒了

原创 洞见 洞见洞见(DJ00123987)——不一样的观点,不一样的故事,2000万人订阅的微信大号。点击标题下蓝字“洞见”关注,我们将为您提供有价值、有意思的延伸阅读。作者:洞见yimo钱塘江上潮...

DeepSeek大火,有人惊喜有人忧——突飞猛进的AI会取代人类创作吗?

DeepSeek大火,有人惊喜有人忧——突飞猛进的AI会取代人类创作吗?

春节期间,对大众来说最惊喜的有二:一个是《哪吒2》,另一个是DeepSeek。DeepSeek一问世就以其卓越的逻辑推理能力和多模态理解能力崭露头角,再次刷新了人们对AI的认知。尤其是DeepSeek...

每日互动:携手DeepSeek打造专属垂直模型

每日互动:携手DeepSeek打造专属垂直模型

金融界4月29日消息,有投资者在互动平台向每日互动提问:董秘,DS"即 DeepSeek(深度求索),Data Space(可信数据空间),Data Station(发数站)。基于我们强大的数据智能能...

腾讯元宝发布电脑版,“DeepSeek+混元”双模型全面支持多端协同

腾讯元宝发布电脑版,“DeepSeek+混元”双模型全面支持多端协同

聚焦工作学习的电脑版元宝来了。3月1日,腾讯AI助手“腾讯元宝”正式发布电脑版,支持Windows和macOS系统。此次发布的腾讯元宝电脑版面向工作和学习场景打造,旨在帮助用户减轻负担、提升效率。除具...

15+车企怕掉队,紧急宣布接入DeepSeek

15+车企怕掉队,紧急宣布接入DeepSeek

DeepSeek火爆全球,凭借一己之力,戳破英伟达算力“泡沫”,以低成本、开源、免费的形式“哪吒闹海”。这个中国的AI助手,拥有媲美ChatGPT的能力,甚至让美国战略部门高度重视。面对DeepSee...

国家能源集团全面接入DeepSeek系列模型

国家能源集团全面接入DeepSeek系列模型

近日,在开普云的助力下,国家能源集团全面接入DeepSeek系列模型。这一举措标志着国家能源集团在智能化转型的道路上率先迈出了重要一步,成为首个在内容安全领域接入DeepSeek大模型的央企。(证券时...