跳到正文

部署与工程

把模型跑起来的工程实践:推理优化、显存与成本控制、Serving 架构、私有化与基础设施选型。

82条精选相关主题vLLMOllama端侧与本地部署

最新精选

第 41–60 条 · 共 82 条
10月2日周五
  1. Hugging Face Blog(hf-mirror 镜像)62

    AI2 发布 Olmo-core 3,面向万亿参数 MoE 的开源训练框架

    AI2 发布 Olmo-core 3,这是其大语言模型训练框架的一次重要升级,重新设计了开放的 MoE 训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。

    推荐理由:Olmo-core 3 把 MoE 训练栈开源,给出从 8 到 128 专家、万亿参数级的吞吐与显存实测数据,适合自建训练栈的团队参考。

  2. AWS Machine Learning Blog62

    AWS 用 Amazon Bedrock AgentCore 上的智能体把云迁移 IaC 编写从数周压缩到分钟

    AWS Professional Services 在一个 300+ 应用的迁移项目中采用四智能体模式,基于 Strands Agents SDK 构建并运行在 Amazon Bedrock AgentCore 上,通过 MCP 工具连接源与目标系统,据内部项目跟踪数据把每个应用的 IaC 开发时间从 3 到 4 周降到分钟级。

    推荐理由:AWS 团队用四个 Strands 智能体把 300+ 应用的 IaC 编写从每应用 3 到 4 周压缩到分钟级,含架构与代码。

  3. Hacker News · Front Page76

    Earendil 随 Pi 1.0 发布 Pi Durable 持久化智能体框架

    Earendil 与 Pi 社区发布 Pi 1.0,同时推出实验性框架 Pi Durable,用于构建可长期运行、可从任意界面接入、支持超长对话并能在崩溃后恢复的智能体。

    推荐理由:Earendil 随 Pi 1.0 发布实验性 Pi Durable,用任务检查点让智能体在进程崩溃后继续运行,源码约 1.5 万行便于智能体自行理解。

  4. AWS Machine Learning Blog60

    如何用 NVIDIA NeMo Agent Toolkit 和 Amazon S3 Vectors 构建智能体记忆

    AWS 发布教程,演示如何把 Amazon S3 Vectors 作为 NVIDIA NeMo Agent Toolkit(NAT)的持久记忆层,通过实现自定义 MemoryEditor 插件完成记忆的写入与语义检索。

    推荐理由:给出把 Amazon S3 Vectors 接入 NVIDIA NeMo Agent Toolkit 记忆层的完整代码与 EKS 部署步骤,适合自建多智能体记忆的团队参考。

  5. Hacker News · Show HN76

    Taracode 发布本地 DevOps 智能体,并公布 18 个开源模型单卡评测榜单

    Tara Vision 发布开源本地 DevOps 智能体 Taracode,基于 Ollama 运行,默认 investigate 只读模式,operate 模式的变更需经过受保护目标、拒绝模式、强制 dry run 和权限四层策略门禁,并带敏感信息脱敏与审计日志。

    推荐理由:本地运行的 DevOps 智能体,默认只读、变更走策略门禁,并附 18 个开源模型在单张 GPU 上的 DevOps 任务通过率榜单。

  6. AWS Machine Learning Blog62

    用 Amazon Bedrock AgentCore 构建环境智能体:从事件驱动信号到人在回路工作流

    AWS 发布基于 Amazon Bedrock AgentCore 的环境智能体参考实现,让 S3 上传或定时事件自动生成任务并由智能体执行,需要时通过 ask_human 工具暂停等待人工确认。

    推荐理由:AWS 官方给出事件驱动智能体的端到端参考实现,含 ask_human 中断机制与 CDK 部署步骤,可照着搭一套。

  7. Hacker News · Show HN78

    Engrams 发布:可自托管的开源 Devin 替代方案

    Cortex Applications 开源 Engrams,一个自托管的 AI 编码智能体编排器,每个智能体运行在独立的 Firecracker 微虚机中,空闲时快照内存与磁盘、下一条提示到达时恢复,同主机恢复耗时低于 100 ms。

    推荐理由:自托管的 AI 编码智能体编排器,用 Firecracker 微虚机隔离会话并快照空闲实例,适合想在自己云里跑编码智能体的团队。

10月1日周四
  1. Hacker News · Show HN78

    Bivy 发布开源编码智能体工作区,可从手机远程驱动本地会话

    Bivy 发布开源编码智能体工作区,在用户自己的机器上运行 Claude Code、Codex、Pi、OpenCode 等智能体,通过浏览器或手机远程接入会话、终端、审批和实时应用预览。

    推荐理由:开源工作区把本地编码智能体会话搬到浏览器和手机,支持实时预览与标注反馈,可自托管。

  2. web-github-trending 76

    OpenClaw 发布开源 AI 助手,接入 20 多个聊天渠道并支持本地部署

    OpenClaw 是一个开源 AI 助手,运行在用户自己的电脑上,可接入 Discord、iMessage、Slack、Teams、Telegram、WhatsApp 等 20 多个渠道,并提供 macOS、iOS、Android、Windows、Linux 原生应用。

    推荐理由:开源个人 AI 助手,可接入 20 多个聊天渠道并本地保存状态与凭据,模型和 harness 可插拔替换。

  3. AWS Machine Learning Blog62

    在 Amazon Bedrock AgentCore Runtime Instances 上构建多智能体音乐制作流水线

    AWS 官方博客演示在 Amazon Bedrock AgentCore Runtime Instances 上部署三智能体音乐制作流水线,由作曲、交付、合规三个智能体在同一 GPU 实例和共享会话中协作,最终产出可播放的 .wav 文件。

    推荐理由:AWS 官方给出三智能体音乐制作流水线的完整代码与部署步骤,可迁移到 GPU 长任务的多智能体协作场景。

9月30日周三
  1. Cloudflare Blog78

    Cloudflare 发布智能体 CLI cf,覆盖全部 Cloudflare API

    Cloudflare 发布新 CLI cf,基于 OpenAPI schema 的 Forge 生成管线,把可操作范围从 Wrangler 的约 280 个命令扩展到 3000 多个 API 操作,默认输出 JSON 并提供 cf cli search 自然语言查找命令。

    推荐理由:Cloudflare 发布面向智能体的新 CLI,把可操作 API 从约 280 个扩展到 3000 多个,并默认输出 JSON。

  2. AWS Machine Learning Blog60

    用 Amazon Nova Act 和 Bedrock AgentCore 实现合成监控

    AWS 发布教程,介绍用 Amazon Nova Act 与 Amazon Bedrock AgentCore 构建智能体驱动的合成监控,以自然语言动作替代 Selenium、Playwright 的 DOM 选择器脚本,由 EventBridge Scheduler 定时触发、SNS 发送失败告警。

    推荐理由:用自然语言动作替代 DOM 选择器做合成监控,给出架构、部署命令与成本估算,适合评估浏览器巡检方案。

  3. web-github-trending 78

    NVIDIA 发布 OpenShell 0.1.x,为自主 AI 智能体提供安全运行时

    NVIDIA 发布 OpenShell 0.1.x,定位为自主 AI 智能体的安全私有运行时,通过内核级沙箱限制每个智能体可访问的文件、系统调用和网络连接,并用形式化验证在策略变更生效前标记新增的高风险访问。

    推荐理由:NVIDIA 开源智能体安全运行时,用内核级策略限制文件、系统调用和网络访问,凭据只在获批端点注入。

  4. 量子位76

    DeepSeek 知乎发文公开 V4.1 Agent 训练沙盒基础设施 DSec

    DeepSeek 在知乎独家发布技术长文,首次系统阐释支撑 DeepSeek-V4 全部训练、评测与数据预处理流程的沙盒基础设施 DSec,相关技术报告已公开至 arXiv,由 DeepSeek 联合清华大学发布,作者团队超过 130 人。

    推荐理由:DeepSeek 公开支撑 V4 系列 Agent 训练的沙盒基础设施 DSec,含镜像按需加载、高密度资源管理等生产数据。

  5. 量子位78

    DeepSeek 开源昇腾基础组件,与昇腾共建 AI 芯片软件生态

    9月30日,DeepSeek 开源面向昇腾算力平台的基础设施组件,包括 TileLang 高级语言编译工具、DeepGEMM、FlashMLA、TileKernel、DeepSelect 等高性能算子库和 DeepEP 分布式通信库,与此前面向 GPU 平台开源的组件一一对应。

    推荐理由:DeepSeek 把面向昇腾的算子库与通信库开源,并给出超节点部署与训练实践链接,可了解国产算力上的落地路径。

  6. AWS Machine Learning Blog71

    GPT-6.1 Sol 在 Amazon Bedrock 正式可用

    GPT-6.1 Sol 现已在 Amazon Bedrock 正式可用,定位为 GPT-6 Sol 的重大升级,面向智能体编码、计算机使用和专业工作负载。据 OpenAI 称,它在 DeepSWE v1.1 上以约五分之一单任务成本达到 GPT-6 Astra 水平,并比 GPT-6 Sol 最佳成绩高 6.4 个百分点。

    推荐理由:GPT-6.1 Sol 在 Amazon Bedrock 上线,官方称其以约五分之一单任务成本接近 GPT-6 Astra 的编码表现。