当前位置:首页 > DeepSeek技术交流 > 正文内容

400亿参数大模型:分布式算力,DeepSeek架构,3090单卡部署

2个月前 (05-19)DeepSeek技术交流206

闻乐 发自 凹非寺量子位 | 公众号 QbitAI

打破科技巨头算力垄断,个人开发者联手也能训练超大规模AI模型?

Nous Research宣布推出Psyche Network,可以将全球算力整合起来训练强大的人工智能。

Psyche是一个基于Deepseek的V3 MLA架构的去中心化训练网络,测试网首次启动时直接对40B参数LLM进行预训练,可以在单个H/DGX上训练,并在3090 GPU上运行。

以往类似规模的模型训练往往需要耗费大量的资源和时间,并且通常是由大型科技公司或专业研究机构凭借其雄厚的资金和算力优势来完成的。

Psyche的出现让个人和小团体也可获取资源创建独特大规模模型。

对此,有网友表示,Nous Research有潜力成为新的前沿AI实验室。

技术突破和网络架构

DisTrO优化器

在传统AI训练中,数据需在中心服务器与分布式GPU之间高频传输,带宽不足会导致GPU利用率暴跌。

2024年Nous研发的DisTrO分布式训练优化器,通过梯度压缩(仅传输关键参数更新)和异步更新策略,将跨节点通信的数据量降低90%以上,突破了训练过程中的带宽限制,使得训练可以去中心化。

点对点网络堆栈

Psyche创建了一个自定义的点对点网络堆栈,用于协调全球分布式GPU运行DisTrO。

这个基于P2P(点对点)协议的专用网络层,无需依赖中心化服务器协调,全球GPU可直接通过加密通道交换梯度数据。

这一设计彻底摆脱了对传统云服务商高带宽网络的依赖,即使是家用宽带连接的GPU,也能稳定参与训练。

系统架构

Psyche网络架构有三个主要部分:

coordinator:协调器,存储有关训练运行状态和参与者列表的元数据。处理一轮训练中每个阶段之间的转换,且负责为运行中的所有客户端提供同步点。

clients:客户端,负责训练、见证和验证。每个客户端都保持自身状态与协调器同步。

data provider:负责提供训练所需的数据。可以是本地的也可以是HTTP或 CP提供者。

40B参数LLM预训练

此前互联网公开的大规模预训练多由Meta、Google等巨头主导(如LLaMA 2的700亿参数模型),Psyche以去中心化模式实现同等级别训练。

Psyche首次测试网运行使用的是Deepseek的V3 MLA架构。

MLA通过低秩联合压缩键值和矩阵分解技术,降低计算复杂度与内存占用,使 400 亿参数大语言模型在有限算力下高效训练。

多头注意力机制与潜空间表示学习相结合,提升模型语言理解与生成能力;并且,旋转位置嵌入的运用,有效解决长序列位置依赖问题,从多维度保障了训练的高效性与模型性能的优质性。

数据集:

使用了FineWeb(14T)、去除部分不常见语言的FineWeb-2(4T)和The Stack v2(1T),些数据集涵盖丰富信息,为模型训练提供了有力支持。

分布式训练策略:

模型并行与数据并行结合:将400亿参数拆解为128个分片,分布在不同节点进行 “模型并行” 训练,同时每个节点处理独立的数据批次(“数据并行”),通过DisTrO优化器同步梯度更新。动态自适应批量大小:根据节点网络延迟自动调整每个批次的训练数据量(如高延迟节点使用较小批次,减少等待时间),使全局训练效率提升25%。未来将是分布式训练的天下?

随着AI模型参数规模呈指数级增长,传统集中式训练模式正面临算力垄断、成本高昂和扩展性瓶颈的严峻挑战。

分布式训练的崛起,正在彻底改写这一格局。

就在几天前,Prime Intellect发布了首个分布式RL训练模型INTELLEC-2,引起了广泛关注。

Nous Research也称Psyche初始训练只是起点,后续计划整合监督微调、强化学习等完整的训练后阶段工作,以及推理和其他可并行工作负载。

谁能站稳分布式训练擂台?当然,我们期待更多更优秀的成果~

感兴趣的小伙伴可以到官方查看更加详细的内容。博客:https://nousresearch.com/nous-psyche/训练仪表板:https://psyche.network代码:https://github.com/PsycheFoundation/psyche文档:https://docs.psyche.network论坛:https://forum.psyche.networkHuggingFace:https://huggingface.co/PsycheFoundationDiscord:https://discord.com/invite/jqVphNsB4H参考链接:[1]https://x.com/NousResearch/status/1922744494002405444[2]https://x.com/PrimeIntellect/status/1921730059620196772

— 完 —


“400亿参数大模型:分布式算力,DeepSeek架构,3090单卡部署” 的相关文章

生态环境部:DeepSeek在环境监测上得到初步应用

生态环境部:DeepSeek在环境监测上得到初步应用

3月26日,生态环境部召开3月例行新闻发布会。会上,生态环境部监测司司长蒋火华介绍,目前,DeepSeek已经在生态环境部中国环境监测总站和不少地方生态环境监测部门得到初步应用。蒋火华表示,生态环境监...

多家银行积极部署DeepSeek 涉及多个业务场景

多家银行积极部署DeepSeek 涉及多个业务场景

本报记者 彭妍    银行正加速DeepSeek系列模型本地化部署工作。据记者梳理,目前已有包括国有大行、股份制银行及头部城商行在内的多家银行启动DeepSeek系列模型的本地化部署,应用领域覆盖智能...

产业与市场丨接入潮涌 “+DeepSeek”给企业带来什么变化

产业与市场丨接入潮涌 “+DeepSeek”给企业带来什么变化

2024年12月、2025年1月,杭州深度求索人工智能基础技术研究有限公司(以下简称“DeepSeek”)相继发布DeepSeek-V3、DeepSeek-R1大模型。其具有低成本、深度思考、全国产的...

九江市教育局举办“DeepSeek等人工智能技术赋能教育图景”专题讲座

九江市教育局举办“DeepSeek等人工智能技术赋能教育图景”专题讲座

为积极响应国家教育数字化战略行动,进一步推动人工智能技术与教育教学的深度融合,提升我市教育现代化水平,市教育局精心筹备并举办了 “DeepSeek等人工智能技术赋能教育图景” 专题讲座。市教育局在家班...

中国高校纷纷开设DeepSeek课程 迎接AI浪潮

中国高校纷纷开设DeepSeek课程 迎接AI浪潮

今年2月,中国多所高校纷纷开设基于本土AI初创企业DeepSeek的人工智能课程。DeepSeek在人工智能领域的突破性进展被誉为中国的“斯普特尼克时刻”,引发了广泛关注,同时也顺应了中国政府推动高校...

安联锐视(301042.SZ):高端NVR产品已完成移植接入DeepSeek

安联锐视(301042.SZ):高端NVR产品已完成移植接入DeepSeek

格隆汇5月6日消息丨安联锐视(301042.SZ)在投资者互动平台积极回应市场关切,透露公司旗下高端NVR(网络视频录像机)产品已顺利完成与DeepSeek的移植接入工作。目前,公司正紧锣密鼓地探索该...