资讯

彩云科技:AI团队两次刷新大模型训练速度世界纪录,相关代码已并入官方开源仓库

36氪快讯·2026/9/11 08:31:04🔗 原文

📋总体概括

中国AI公司彩云科技宣布,其基础模型算法团队在全球开源竞速项目NanoGPT Speedrun中连续两次刷新大模型训练速度世界纪录,将达标训练时间压缩至1分16秒,相关代码已并入官方开源仓库。支撑纪录的是团队两项原创架构创新——DCMHA(可动态组合多头注意力)与MUDD(多路动态稠密连接),分别于2024年、2025年发表于ICML并入选口头报告,体现了中国团队在底层模型架构上的原创能力。

关键信息

  • 彩云科技基础模型算法团队连续两次刷新NanoGPT Speedrun大模型训练速度世界纪录
  • 达标训练时间被压缩至1分16秒,相关代码已并入官方开源仓库
  • 两项纪录依托原创架构DCMHA(可动态组合多头注意力)与MUDD(多路动态稠密连接)
  • DCMHA与MUDD分别于2024年和2025年发表于ICML,均入选口头报告

🔥犀利点评

Speedrun刷纪录含金量有限——它是在固定算力预算下优化训练效率的工程竞赛,不直接等于前沿模型能力。但两条信息值得认真对待:一是创新点是自家架构而非魔改超参,DCMHA和MUDD连续两年进ICML口头报告,这是硬通货;二是代码并入官方仓库意味着被开源社区检验认可。中国大模型叙事一直缺底层原创,彩云这种小团队先在效率赛道立住原创标签,路线聪明,就看能否转化为产品层面的差异化。

本文由本站自动聚合,以下为原始来源:前往 36氪快讯 阅读全文