Hacker News · Front Page· E-Reverance·2026-10-06 05:15· 13 天前AI 评分60

Dust：不依赖反向传播预训练 Transformer 的零阶方法

Dust: Pretraining Transformers Without Backpropagation

AI 导读

研究提出 Dust，一种通过扰动激活值、按每个 token 的损失下降给予奖励来估计梯度的零阶优化方法，可在预训练 Transformer 语言模型时不使用反向传播。