跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、微调实践与算力成本开销。

最新精选

第 1–20 条 · 共 35 条
今天10月16日周五
  1. Hacker News · Front Page83

    神经网络本就是干净的:一项对叠加假说的重新检验

    作者在数月研究图像与语言模型神经元后提出,此前被视为多义性与叠加假说的典型证据多被误读,网络把概念任意打包的现象主要是递归泛化,即神经元沿多个方向生长出相关分支。

    推荐理由:作者用图像与语言模型的神经元实验反驳叠加假说,提出递归泛化解释,并给出可复现的观察方法。

  2. The Decoder83

    GPT-6-Astra 在理论物理基准中解出 50 题中的 49 题,单题成本不到 3 美元

    一项新基准测试让商用 AI 智能体在无人工提示下解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。

    推荐理由:一份理论物理论文基准显示,GPT-6-Astra 在 Codex 中解出 50 题中的 49 题,单题成本不到 3 美元,并讨论了 AI 对物理研究训练与资源分配的影响。

10月15日周四
  1. Simon Willison66

    Anthropic 向投资人披露季度营收增至 16.8 亿美元,IPO 前蒸馏收入占比 5% 至 7%

    Anthropic 在 IPO 前向投资人披露,季度营收环比增长近 50% 至 16.8 亿美元,其中 Q1 约 4.8 亿美元、Q2 为 11.5 亿美元、Q3 为 16.8 亿美元。Q3 每支出 1 美元算力对应 1.70 美元收入,剔除股权激励后的调整后营业利润率为 11%。Anthropic 还告知投资人,蒸馏贡献了 5% 至 7% 的收入,并已在第三季度大幅削减这部分用量。

    推荐理由:Anthropic 在 IPO 前向投资人披露季度营收与利润率,并首次给出蒸馏占收入的比重,可看其商业结构。

10月9日周五
  1. Hugging Face Blog(hf-mirror 镜像)78

    作者用 ML Intern 两天做出六个小模型,总算力成本约 103 美元

    作者在 HuggingChat 中开启 ML Intern,用自然语言描述需求,两天内做出六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy 与相机角度 LoRA 等,总 GPU 与 CPU 算力费用约 103 美元。

    推荐理由:作者用 ML Intern 在两天内从零做出六个小模型,含提示词写法、预算控制与每项算力成本,可迁移到自己的微调任务。

10月8日周四
  1. Microsoft Research71

    微软开源 Agent Lightning v1.0,约 3500 行的轻量 Agent RL 框架

    微软研究院开源 Agent Lightning v1.0,一个约 3500 行的轻量 Agent RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。

    推荐理由:微软开源约 3500 行的 Agent RL 框架,让部署用的 harness 直接参与训练,并给出编码智能体的完整训练示例。

  2. Hugging Face Blog(hf-mirror 镜像)71

    NVIDIA 微调 Nemotron 3,在 IOI 2026 与 IMO 2026 双双达到金牌水平

    NVIDIA 团队从 Nemotron 3 出发,用监督微调、强化学习和反馈驱动的推理流程,在 IOI 2026 与 IMO 2026 上分别取得 535.4/600 和 30/42 的成绩,均超过金牌线。

    推荐理由:NVIDIA 用 SFT、RL 加生成-验证-精修流程把 Nemotron 3 微调成 IOI 与 IMO 双金牌级专家模型,并公开数据与配方。

10月6日周二
  1. Hacker News · Front Page78

    Reflection 发布首个开放权重模型 Beam,501B 稀疏 MoE 主打编码与智能体

    Reflection 推出首个开放权重模型 Beam,采用稀疏 MoE 架构,总参数 501B、激活 23B,面向编码、推理与智能体任务,预训练使用 23.8 万亿 token,RL 阶段在 10.5K 张 NVIDIA GB300 GPU 上运行 4 周、生成超 1 亿次 rollout。

    推荐理由:Reflection 发布首个开放权重模型 Beam,501B 稀疏 MoE、23B 激活,主打编码与智能体任务,本月将放出权重与技术报告。

10月3日周六
  1. AWS Machine Learning Blog60

    AWS 用 Amazon SageMaker AI 多轮 RL 微调 Qwen3.6-27B 搜索智能体

    AWS 团队在 Amazon SageMaker AI 上用多轮强化学习(MTRL)微调 Qwen3.6-27B 搜索智能体,以 nDCG@10 作为轨迹级奖励,只改动 max_epochs、global_batch_size、rollout_max_concurrency 三个超参数。

    推荐理由:AWS 团队用 SageMaker AI 多轮 RL 微调 Qwen3.6-27B 搜索智能体,给出奖励设计与各基准的检索质量、失败率变化。

10月2日周五
  1. Hugging Face Blog(hf-mirror 镜像)62

    AI2 发布 Olmo-core 3,面向万亿参数 MoE 的开源训练框架

    AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重要升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。

    推荐理由:Olmo-core 3 把 MoE 训练栈开源,给出从 8 到 128 专家、万亿参数级的吞吐与显存实测数据,适合自建训练栈的团队参考。

10月1日周四
  1. Google DeepMind66

    Google DeepMind 推出 SynthID Bio,为 AI 生成的蛋白质加水印

    Google DeepMind 发布 SynthID Bio,把水印技术用于合成生物学,将不可感知的签名嵌入生物代码,使水印既能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。

    推荐理由:Google DeepMind 把 SynthID 水印扩展到合成生物学,可在不改蛋白功能的前提下标记 AI 生成的序列与结构。

  2. AWS Machine Learning Blog62

    在 Amazon Bedrock AgentCore Runtime Instances 上构建多智能体音乐制作流水线

    AWS 官方博客演示在 Amazon Bedrock AgentCore Runtime Instances 上部署三智能体音乐制作流水线,由作曲、交付、合规三个智能体在同一 GPU 实例和共享会话中协作,最终产出可播放的 .wav 文件。

    推荐理由:AWS 官方给出三智能体音乐制作流水线的完整代码与部署步骤,可迁移到 GPU 长任务的多智能体协作场景。

9月30日周三
  1. 量子位76

    DeepSeek 知乎发文公开 V4.1 Agent 训练沙盒基础设施 DSec

    DeepSeek 在知乎独家发布技术长文,首次系统阐释支撑 DeepSeek-V4 全部训练、评测与数据预处理流程的沙盒基础设施 DSec,相关技术报告已公开至 arXiv,由 DeepSeek 联合清华大学发布,作者团队超过 130 人。

    推荐理由:DeepSeek 公开支撑 V4 系列 Agent 训练的沙盒基础设施 DSec,含镜像按需加载、高密度资源管理等生产数据。

  2. 量子位78

    DeepSeek 开源昇腾基础组件,与昇腾共建 AI 芯片软件生态

    9月30日,DeepSeek 开源面向昇腾算力平台的基础设施组件,包括 TileLang 高级语言编译工具、DeepGEMM、FlashMLA、TileKernel、DeepSelect 等高性能算子库和 DeepEP 分布式通信库,与此前面向 GPU 平台开源的组件一一对应。

    推荐理由:DeepSeek 把面向昇腾的算子库与通信库开源,并给出超节点部署与训练实践链接,可了解国产算力上的落地路径。

9月29日周二
  1. Hugging Face Blog(hf-mirror 镜像)71

    NVIDIA 发布 Kumo Tabular 表格预测基础模型

    NVIDIA 发布开源表格基础模型 Kumo Tabular,给定带标签的表格行,可在单次前向传播中预测新行的类别概率或数值,无需训练、调参和特征工程,覆盖分类与回归。

    推荐理由:NVIDIA 开源表格基础模型,单次前向即可预测新行标签,无需训练与特征工程,并给出多榜单排名与限制说明。

  2. Microsoft Research66

    微软研究院发布 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像数据联合训练的多模态世界模型,以及连接模型、科学工具、文献和实验人员的 harness 组成。

    推荐理由:微软研究院发布面向生物学的研究系统 Quine,用多模态世界模型加 harness 连接模型、工具与文献,在胰腺癌化合物筛选中一个周末完成候选排序。

  3. Latent Space78

    AMD 以 82 亿美元收购 World Labs,Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs,后者自 2024 年成立以来专注空间智能,并收购 SceniX 布局机器人仿真。World Labs 近期发布的 Atlas 是首个此类 omni 模型架构,从 2D 图像输入预测新视角,性能超过专用模型,解决了计算机视觉中长期存在的稀疏重建问题,可用于机器人 RL 环境、场景生成和真实世界重建。

    推荐理由:AMD 以 82 亿美元收购 World Labs,其 Atlas 模型用生成模型结合多视图几何解决稀疏重建问题。

9月24日周四
9月22日周二
9月21日周一
  1. Hugging Face Blog(hf-mirror 镜像)62

    Hugging Face 发布 tokenizers v1 候选版,编码速度最高提升 30 倍

    Hugging Face 发布 tokenizers v1 候选版,在 Apple M4 Max 单线程下编码速度是 v0.23 的 3 到 30 倍,八线程扩展效率为线性的 76%,且输出 token ID 与旧版完全一致。

    推荐理由:tokenizers v1 候选版把编码速度提升到 v0.23 的 3 到 30 倍,输出 token ID 完全不变,升级只需换安装的构建。