资讯
彩云科技:AI团队两次刷新大模型训练速度世界纪录,相关代码已并入官方开源仓库
📋总体概括
中国AI公司彩云科技宣布,其基础模型算法团队在全球开源竞速项目NanoGPT Speedrun中连续两次刷新大模型训练速度世界纪录,将达标训练时间压缩至1分16秒,相关代码已并入官方开源仓库。支撑纪录的是团队两项原创架构创新——DCMHA(可动态组合多头注意力)与MUDD(多路动态稠密连接),分别于2024年、2025年发表于ICML并入选口头报告,体现了中国团队在底层模型架构上的原创能力。
⚡关键信息
- ▸彩云科技基础模型算法团队连续两次刷新NanoGPT Speedrun大模型训练速度世界纪录
- ▸达标训练时间被压缩至1分16秒,相关代码已并入官方开源仓库
- ▸两项纪录依托原创架构DCMHA(可动态组合多头注意力)与MUDD(多路动态稠密连接)
- ▸DCMHA与MUDD分别于2024年和2025年发表于ICML,均入选口头报告
🔥犀利点评
Speedrun刷纪录含金量有限——它是在固定算力预算下优化训练效率的工程竞赛,不直接等于前沿模型能力。但两条信息值得认真对待:一是创新点是自家架构而非魔改超参,DCMHA和MUDD连续两年进ICML口头报告,这是硬通货;二是代码并入官方仓库意味着被开源社区检验认可。中国大模型叙事一直缺底层原创,彩云这种小团队先在效率赛道立住原创标签,路线聪明,就看能否转化为产品层面的差异化。
📰 相关资讯(与本文相关的其他资讯)
本文由本站自动聚合,以下为原始来源:前往 36氪快讯 阅读全文 →