Hugging Face Blog（hf-mirror 镜像）·· 17 天前精选AI 评分62
AI2 发布 Olmo-core 3，面向万亿参数 MoE 的开源训练框架
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
AI2 发布 Olmo-core 3，这是其大语言模型训练框架的一次重要升级，重新设计了开放的 MoE 训练系统，目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由
Olmo-core 3 把 MoE 训练栈开源，给出从 8 到 128 专家、万亿参数级的吞吐与显存实测数据，适合自建训练栈的团队参考。
来源：Hugging Face Blog（hf-mirror 镜像） · hf-mirror.com