跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、微调实践与算力成本开销。

最新精选

第 21–40 条 · 共 40 条
9月29日周二
  1. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像数据联合训练的多模态世界模型,以及连接模型、科学工具、文献和实验人员的 harness 组成。

    推荐理由:微软研究院发布面向生物学的研究系统 Quine,用多模态世界模型加 harness 连接模型、工具与文献,在胰腺癌化合物筛选中一个周末完成候选排序。

  2. Latent Space78

    AMD 以 82 亿美元收购 World Labs,Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs,后者自 2024 年成立以来专注空间智能,并收购 SceniX 布局机器人仿真。World Labs 近期发布的 Atlas 是首个此类 omni 模型架构,从 2D 图像输入预测新视角,性能超过专用模型,解决了计算机视觉中长期存在的稀疏重建问题,可用于机器人 RL 环境、场景生成和真实世界重建。

    推荐理由:AMD 以 82 亿美元收购 World Labs,其 Atlas 模型用生成模型结合多视图几何解决稀疏重建问题。

9月24日周四
9月22日周二
9月21日周一
  1. Hugging Face Blog(hf-mirror 镜像)62

    Hugging Face 发布 tokenizers v1 候选版,编码速度最高提升 30 倍

    Hugging Face 发布 tokenizers v1 候选版,在 Apple M4 Max 单线程下编码速度是 v0.23 的 3 到 30 倍,八线程扩展效率为线性的 76%,且输出 token ID 与旧版完全一致。

    推荐理由:tokenizers v1 候选版把编码速度提升到 v0.23 的 3 到 30 倍,输出 token ID 完全不变,升级只需换安装的构建。

9月16日周三
9月10日周四
  1. Hugging Face Blog(hf-mirror 镜像)62

    用 LoRA 和 Storage Bucket 在 HF Jobs 上跑异步 GRPO,500 步从 3 小时 27 分降到 53 分钟

    TRL v1.14 的 AsyncGRPOTrainer 支持只训练并同步 LoRA 适配器到 vLLM,rank-1 适配器只有几 MB,可经每个 Job 挂载的 Storage Bucket 传递,无需 NCCL。

    推荐理由:在 HF Jobs 上把异步 GRPO 训练与 vLLM 推理拆到不同机器,用 LoRA 适配器和 Storage Bucket 替代 NCCL,500 步从 3 小时 27 分压到 53 分钟。

9月3日周四
  1. Hugging Face Blog(hf-mirror 镜像)60

    用 TRL 和 OpenEnv 训练编码模型画水彩:一次开源复现

    作者用 TRL 和 OpenEnv 复现了 Surya Narreddi 让语言模型通过 p5.brush 写 JavaScript 画水彩的方案,参考池、RL 环境、训练脚本和模型全部开源。

    推荐理由:用 TRL 和 OpenEnv 复现水彩绘画模型的 RL 训练,公开参考池、环境与三种奖励配比,并给出成本与踩坑记录。

8月26日周三
8月25日周二
  1. Hugging Face Blog(hf-mirror 镜像)62

    Multiverse Computing 提出量化感知修复 QAH,4-bit 压缩模型在 7/9 基准上超过其全精度版本

    Multiverse Computing 发布论文提出量化感知修复(QAH),不再从修复后的 bfloat16 检查点蒸馏,而是直接从压缩前的原始模型蒸馏,教师与学生架构可以不同。

    推荐理由:提出面向已压缩模型的量化感知修复方法,4-bit 模型在 9 项基准中 7 项超过自身 bfloat16 版本,并给出与 QAT 的稳定性对比。

8月18日周二
  1. Hugging Face Blog(hf-mirror 镜像)62

    Dharma AI 用约束感知 GPU 分配器替换 FIFO,同集群利用率最高提升 33 个百分点

    Dharma AI 构建约束感知的 GPU 分配器,在七个基准场景中与 FIFO 调度器对比,相同硬件与负载下利用率最高提升 33 个百分点,优先级加权产出平均提升 52%、最高 105.1%。

    推荐理由:Dharma AI 自建约束感知 GPU 分配器,在相同硬件与负载下对比 FIFO,说明调度顺序如何影响利用率与优先级产出。

8月14日周五
  1. Hugging Face Blog(hf-mirror 镜像)67

    Hugging Face 发布 2026 夏季开源模型观察报告

    Hugging Face 发布 2026 年 1 月至 8 月的开源模型生态观察报告,基于 Hub 数据指出中国实验室的月度最大开源模型参数规模在 754B 至 2.78 万亿之间,而美国模型在七个月中有五个月低于 130B。

    推荐理由:Hugging Face 用 Hub 七个月数据梳理开源模型格局,含参数规模、下载与衍生模型分布,可作生态判断依据。

8月6日周四
  1. Google DeepMind78

    Google DeepMind 的 WeatherNext 在气旋预报上取得突破并开源模型

    Google DeepMind 在 Nature 发表论文,称 WeatherNext AI 模型在预测气旋路径、强度和风场结构上达到 SOTA,平均多出一天(24 小时)的预警提前量,三天预报精度相当于此前模型的两天水平,约等于十年的气象学进展。

    推荐理由:Google DeepMind 在 Nature 发表 WeatherNext 气旋预报研究,并开源模型权重与代码,可了解 AI 天气预报的精度提升幅度与开放程度。

7月21日周二
  1. Hugging Face Blog(hf-mirror 镜像)62

    Hugging Face 发布 Grabette 开源机器人操作数据录制系统

    Hugging Face 发布 Grabette,一套开源低成本的手持操作数据录制系统,用带双摄像头和编码器的手持夹爪录制人类演示,无需机器人或遥操作设备,硬件 BOM 成本约 490€。

    推荐理由:手持夹爪加双摄像头即可录制操作数据,浏览器一键转成 LeRobot 数据集,硬件成本约 490€。

7月7日周二
  1. Hugging Face Blog(hf-mirror 镜像)72

    LeRobot v0.6.0 发布:世界模型策略、奖励模型 API 与六个仿真基准

    Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。

    推荐理由:LeRobot v0.6.0 把机器人学习闭环补齐,含世界模型策略、奖励模型 API、六个仿真基准和部署 CLI,可了解开源机器人栈的新能力。

5月12日周二
4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布论文提出 Decoupled DiLoCo 分布式训练架构,把大规模训练拆分为解耦的计算岛屿,岛屿间异步传输数据,从而隔离局部硬件故障并降低带宽需求。

    推荐理由:Google DeepMind 提出解耦式分布式训练架构,用异步岛屿降低带宽并隔离硬件故障,附 Gemma 4 实测结果。

12月3日周三
  1. Ahead of AI · Sebastian Raschka78

    从 DeepSeek V3 到 V3.2:架构、稀疏注意力与强化学习更新

    Sebastian Raschka 撰文梳理 DeepSeek V3 到 V3.2 的技术演进,指出 V3.2 沿用 V3.2-Exp 的架构,核心变化是加入 DeepSeek Sparse Attention(DSA),把注意力复杂度从 O(L²) 降到 O(Lk),token selector 的 top-k 在官方代码中设为 2048。

    推荐理由:梳理 DeepSeek V3 到 V3.2 的架构与训练变化,说明稀疏注意力和自验证如何影响效率与数学能力。