神经网络本就是干净的:一项对叠加假说的重新检验
作者在数月研究图像与语言模型神经元后提出,此前被视为多义性与叠加假说的典型证据多被误读,网络把概念任意打包的现象主要是递归泛化,即神经元沿多个方向生长出相关分支。
推荐理由:作者用图像与语言模型的神经元实验反驳叠加假说,提出递归泛化解释,并给出可复现的观察方法。
训练侧的门道:数据集构建、合成数据、预训练与后训练方法、微调实践与算力成本开销。
作者在数月研究图像与语言模型神经元后提出,此前被视为多义性与叠加假说的典型证据多被误读,网络把概念任意打包的现象主要是递归泛化,即神经元沿多个方向生长出相关分支。
推荐理由:作者用图像与语言模型的神经元实验反驳叠加假说,提出递归泛化解释,并给出可复现的观察方法。
一项新基准测试让商用 AI 智能体在无人工提示下解理论物理研究题,GPT-6-Astra 在 OpenAI 的 Codex 环境中答对 50 题中的 49 题(98%),平均每题成本不到 3 美元,整套基准约 116 美元。
推荐理由:一份理论物理论文基准显示,GPT-6-Astra 在 Codex 中解出 50 题中的 49 题,单题成本不到 3 美元,并讨论了 AI 对物理研究训练与资源分配的影响。
Anthropic 在 IPO 前向投资人披露,季度营收环比增长近 50% 至 16.8 亿美元,其中 Q1 约 4.8 亿美元、Q2 为 11.5 亿美元、Q3 为 16.8 亿美元。Q3 每支出 1 美元算力对应 1.70 美元收入,剔除股权激励后的调整后营业利润率为 11%。Anthropic 还告知投资人,蒸馏贡献了 5% 至 7% 的收入,并已在第三季度大幅削减这部分用量。
推荐理由:Anthropic 在 IPO 前向投资人披露季度营收与利润率,并首次给出蒸馏占收入的比重,可看其商业结构。
作者在 HuggingChat 中开启 ML Intern,用自然语言描述需求,两天内做出六个模型,包括 0.8B 的 Pocket Rewriter、柑橘病害 VLM、Huggy 与相机角度 LoRA 等,总 GPU 与 CPU 算力费用约 103 美元。
推荐理由:作者用 ML Intern 在两天内从零做出六个小模型,含提示词写法、预算控制与每项算力成本,可迁移到自己的微调任务。
微软研究院开源 Agent Lightning v1.0,一个约 3500 行的轻量 Agent RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重新实现智能体。
推荐理由:微软开源约 3500 行的 Agent RL 框架,让部署用的 harness 直接参与训练,并给出编码智能体的完整训练示例。
NVIDIA 团队从 Nemotron 3 出发,用监督微调、强化学习和反馈驱动的推理流程,在 IOI 2026 与 IMO 2026 上分别取得 535.4/600 和 30/42 的成绩,均超过金牌线。
推荐理由:NVIDIA 用 SFT、RL 加生成-验证-精修流程把 Nemotron 3 微调成 IOI 与 IMO 双金牌级专家模型,并公开数据与配方。
Reflection 推出首个开放权重模型 Beam,采用稀疏 MoE 架构,总参数 501B、激活 23B,面向编码、推理与智能体任务,预训练使用 23.8 万亿 token,RL 阶段在 10.5K 张 NVIDIA GB300 GPU 上运行 4 周、生成超 1 亿次 rollout。
推荐理由:Reflection 发布首个开放权重模型 Beam,501B 稀疏 MoE、23B 激活,主打编码与智能体任务,本月将放出权重与技术报告。
AWS 团队在 Amazon SageMaker AI 上用多轮强化学习(MTRL)微调 Qwen3.6-27B 搜索智能体,以 nDCG@10 作为轨迹级奖励,只改动 max_epochs、global_batch_size、rollout_max_concurrency 三个超参数。
推荐理由:AWS 团队用 SageMaker AI 多轮 RL 微调 Qwen3.6-27B 搜索智能体,给出奖励设计与各基准的检索质量、失败率变化。
ServiceNow CoreAI 提出 AutoSynthData,用目标模型的失败和更强教师的成功来定位能力缺口,再生成并验证新的可执行任务用于后训练。
推荐理由:ServiceNow 提出用模型失败与教师成功自动生成企业智能体训练任务,并在 EnterpriseOps Gym 上验证 Pass@1 提升。
AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重要升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
推荐理由:Olmo-core 3 把 MoE 训练栈开源,给出从 8 到 128 专家、万亿参数级的吞吐与显存实测数据,适合自建训练栈的团队参考。
Google DeepMind 发布 SynthID Bio,把水印技术用于合成生物学,将不可感知的签名嵌入生物代码,使水印既能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。
推荐理由:Google DeepMind 把 SynthID 水印扩展到合成生物学,可在不改蛋白功能的前提下标记 AI 生成的序列与结构。
AWS 官方博客演示在 Amazon Bedrock AgentCore Runtime Instances 上部署三智能体音乐制作流水线,由作曲、交付、合规三个智能体在同一 GPU 实例和共享会话中协作,最终产出可播放的 .wav 文件。
推荐理由:AWS 官方给出三智能体音乐制作流水线的完整代码与部署步骤,可迁移到 GPU 长任务的多智能体协作场景。
DeepSeek 在知乎独家发布技术长文,首次系统阐释支撑 DeepSeek-V4 全部训练、评测与数据预处理流程的沙盒基础设施 DSec,相关技术报告已公开至 arXiv,由 DeepSeek 联合清华大学发布,作者团队超过 130 人。
推荐理由:DeepSeek 公开支撑 V4 系列 Agent 训练的沙盒基础设施 DSec,含镜像按需加载、高密度资源管理等生产数据。
9月30日,DeepSeek 开源面向昇腾算力平台的基础设施组件,包括 TileLang 高级语言编译工具、DeepGEMM、FlashMLA、TileKernel、DeepSelect 等高性能算子库和 DeepEP 分布式通信库,与此前面向 GPU 平台开源的组件一一对应。
推荐理由:DeepSeek 把面向昇腾的算子库与通信库开源,并给出超节点部署与训练实践链接,可了解国产算力上的落地路径。
NVIDIA 发布开源表格基础模型 Kumo Tabular,给定带标签的表格行,可在单次前向传播中预测新行的类别概率或数值,无需训练、调参和特征工程,覆盖分类与回归。
推荐理由:NVIDIA 开源表格基础模型,单次前向即可预测新行标签,无需训练与特征工程,并给出多榜单排名与限制说明。
微软研究院发布 Quine,一个面向生物学复杂性的 AI 研究系统,由跨序列、结构、功能、细胞状态和成像数据联合训练的多模态世界模型,以及连接模型、科学工具、文献和实验人员的 harness 组成。
推荐理由:微软研究院发布面向生物学的研究系统 Quine,用多模态世界模型加 harness 连接模型、工具与文献,在胰腺癌化合物筛选中一个周末完成候选排序。
AMD 以 82 亿美元收购 World Labs,后者自 2024 年成立以来专注空间智能,并收购 SceniX 布局机器人仿真。World Labs 近期发布的 Atlas 是首个此类 omni 模型架构,从 2D 图像输入预测新视角,性能超过专用模型,解决了计算机视觉中长期存在的稀疏重建问题,可用于机器人 RL 环境、场景生成和真实世界重建。
推荐理由:AMD 以 82 亿美元收购 World Labs,其 Atlas 模型用生成模型结合多视图几何解决稀疏重建问题。
NVIDIA 与 Google DeepMind、EMBL-EBI 等机构合作,通过 AlphaFold Database 开放 2800 多种病毒的蛋白复合物预测 3D 结构,供全球科学家免费使用。
推荐理由:NVIDIA 联合 Google DeepMind 等开放 2800 多种病毒的蛋白复合物预测结构,并放出生成流程。
小米发布 MiMo-V2.6 系列原生全模态开源模型,包括 MiMo-V2.6-Pro、MiMo-V2.6-Flash 以及输出速度最高提升 20 倍的 MiMo-V2.6-Pro-UltraSpeed。
推荐理由:小米发布原生全模态开源模型 MiMo-V2.6 系列,并公开 RL 环境与训练配方,可了解其训练成本与开源范围。
Hugging Face 发布 tokenizers v1 候选版,在 Apple M4 Max 单线程下编码速度是 v0.23 的 3 到 30 倍,八线程扩展效率为线性的 76%,且输出 token ID 与旧版完全一致。
推荐理由:tokenizers v1 候选版把编码速度提升到 v0.23 的 3 到 30 倍,输出 token ID 完全不变,升级只需换安装的构建。