跳到正文

部署与工程

把模型跑起来的工程实践:推理优化、显存与成本控制、Serving 架构、私有化与基础设施选型。

82条精选相关主题vLLMOllama端侧与本地部署

最新精选

第 21–40 条 · 共 82 条
10月11日周日
  1. Hacker News · Front Page88

    Cockroach Labs 用医院式多智能体流水线五个月开发 MOLT 迁移工具

    Cockroach Labs 把编码智能体按教学医院角色组织成 MOLT Sinai 流水线,五个月内让 MOLT 工具新增 IBM Db2 迁移支持,而 2024 年加 Oracle 支持用了 9 个月、约 16 万美元工程时间,Db2 只花不到两天、4172 美元 token 费用。

    推荐理由:Cockroach Labs 用医院角色分工的多智能体流水线跑五个月真实迁移工具开发,给出成本、返工与流程设计的可迁移经验。

10月10日周六
  1. Hacker News · Front Page78

    微软发布 Microsoft Execution Containers 1.0,为 AI 智能体提供策略驱动的执行隔离

    微软宣布 Microsoft Execution Containers(MXC)1.0 正式可用,为 AI 智能体提供策略驱动的执行层,开发者声明工作负载所需的文件和网络资源,MXC 在运行时用相应容器强制执行边界,策略不受智能体自身控制。

    推荐理由:微软发布 MXC 1.0,用策略驱动的容器为 AI 智能体划定文件、网络和桌面边界,并给出三种策略模式与多后端隔离选项。

  2. Hugging Face Blog(hf-mirror 镜像)67

    Ai2 如何用 GPU 时间预算和分层公平调度改造集群调度器

    Ai2 的 AI 基础设施团队把基于优先级的调度器换成由 GPU 时间预算、分层公平分配和时间切片契约组成的系统,管理 88 到 1024 卡规模的 NVIDIA H100、B200、B300 集群。

    推荐理由:Ai2 用 GPU 时间预算和分层公平调度替换优先级调度,讲清了排队、抢占和 on-call 工单如何变化。

  3. AWS Machine Learning Blog71

    Postman 如何在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode

    Postman 与 AWS 复盘了 Agent Mode 在生产环境的架构:工具数量超过约 40 个后工具选择错误上升,因此用向量数据库把 170 多个工具按任务收窄到约 15 个,并交给上下文隔离的子智能体。

    推荐理由:Postman 在 Amazon Bedrock 上把 Agent Mode 做到 4000 万开发者规模,讲清工具膨胀、上下文预算与跨区域推理的取舍。

10月9日周五
  1. Hacker News · Front Page78

    Cloudflare 收购 Deno,Deno 团队整体加入

    Deno 创始人宣布整个 Deno 团队加入 Cloudflare,未来开发将转向与 Workers、Durable Objects 团队共建的平台,不再单独开发运行时和托管服务。

    推荐理由:Deno 团队整体加入 Cloudflare,Deno 运行时一年后停止开发、Deno Deploy 六个月后关停,作者说明了后续支持与迁移安排。

  2. AWS Machine Learning Blog62

    Incarna 如何用 Amazon Bedrock AgentCore payments 实现按次付费推理

    Incarna 借助 Amazon Bedrock AgentCore payments,让智能体通过 x402 协议按次向 BlockRun 的推理路由付费,端到端流程已上线 Base 主网。

    推荐理由:Incarna 用 AgentCore payments 让智能体按次为 BlockRun 的模型推理付费,集成从两三个月压缩到三天,含花费上限与链上结算细节。

10月8日周四
  1. The Decoder80

    Zenity Labs:一条提示词即可接管 AWS 账户内全部 AgentCore 智能体

    安全公司 Zenity Labs 披露 AWS Bedrock AgentCore 存在名为 AgentCorruption 的漏洞链,攻击者只需对一个公开可访问的智能体拥有对话权限,用一条提示词就能接管同一 AWS 账户和区域内所有 AgentCore 智能体,读取私密对话、下载源码并获取凭证。

    推荐理由:Zenity Labs 披露 AWS Bedrock AgentCore 的默认权限与隔离缺陷,一条提示词即可接管同区域全部智能体,并说明 AWS 的修复动作。

  2. AWS Machine Learning Blog71

    Claude Haiku 5.5 在 AWS 上线,成本较 Haiku 4.5 降低约 75%

    AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线,据 Anthropic 称这是 Claude 5.5 系列中速度最快、效率最高的模型,面向子智能体和高并发、成本敏感场景,多数任务成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:Claude Haiku 5.5 在 Amazon Bedrock 上线,成本比 Haiku 4.5 低约 75%,并首次在 Haiku 系列引入 effort 控制。

  3. NVIDIA Blog74

    NVIDIA 与 Microsoft 发布 RTX Spark 与 Windows 智能体基础设施

    在旧金山 Microsoft 活动上,NVIDIA 与 Microsoft 宣布为 Windows PC 上的 AI 智能体协同设计软硬件,Microsoft 公布 OS 级智能体运行基础设施 MXC 正式可用,用于让智能体在系统控制下安全持久地在后台运行。

    推荐理由:NVIDIA 与 Microsoft 把智能体运行基础设施做进 Windows,并给出可在本地跑大模型的 RTX Spark 硬件规格与上市时间。

10月7日周三
  1. Hacker News · Show HN78

    Zit 发布 0.1.1:用写时复制工作区替代 git worktree 管理并行编码智能体

    Zit 是一个 git 扩展,面向多人加多个编码智能体同时修改同一仓库的场景,用写时复制工作区替代 git worktree,最新版本 0.1.1,需要 git 2.38 以上,支持 macOS 和 Linux,可通过 cargo install zit --locked 安装。

    推荐理由:面向多人和多个编码智能体同时改同一仓库的场景,用写时复制工作区替代 git worktree,并记录每次改动的理由与成本。

10月6日周二
  1. AWS Machine Learning Blog60

    Amazon SageMaker 推出 aws-ai-ml 智能体技能,为编码智能体提供生成式 AI 推理优化能力

    Amazon SageMaker AI 通过 Agent Toolkit for AWS 发布 aws-ai-ml 技能,让 Kiro、Claude Code、Codex 等支持 MCP 的编码智能体具备推理优化与基准测试能力,可对已有端点做压测、按模型推荐实例类型、对比多次基准结果,并生成可执行的 SageMaker Python SDK v3 代码。

    推荐理由:把 SageMaker 推理优化能力做成 MCP 技能,让编码智能体直接跑基准测试并给出实例选型建议。

  2. AWS Machine Learning Blog62

    如何在 AWS GovCloud 中用 Claude Code 调用 Amazon Bedrock

    AWS 发布指南,介绍在 AWS GovCloud (US) 中通过 Amazon Bedrock 使用 Claude Code 的配置方法,支持 bedrock-runtime 与 bedrock-mantle 两个端点,前者支持 Guardrails 和调用日志,后者原生支持 Anthropic Messages API。

    推荐理由:面向受监管环境的部署指南,讲清 Claude Code 接入 AWS GovCloud 中 Amazon Bedrock 的三种配置方式与合规取舍。

10月4日周日
  1. Hacker News · Front Page78

    Strata 开源项目让 Qwen3.8-Flash-Next(125B)在消费级显卡上本地运行

    开源项目 Strata 发布,可在 12GB 及以上显存的消费级显卡上本地运行 125B 参数的 Qwen3.8-Flash-Next,支持聊天、写代码、读图和接入编码智能体,数据不出本机。

    推荐理由:开源项目 Strata 让 125B 的 Qwen3.8-Flash-Next 在 12GB 显存的消费级显卡上本地运行,附实测速度与安装方式。

10月3日周六
  1. AWS Machine Learning Blog62

    AWS 用 Amazon Quick 与 Adjudicated Query 模式批量核查数万份租赁合同

    AWS 提出 Adjudicated Query 模式,让 Amazon Quick 聊天界面负责把自然语言问题翻译成对固定 MCP 工具集的调用,实际合规判定由确定性规则引擎完成,模型不写查询也不做判定。

    推荐理由:AWS 用 Amazon Quick 加确定性规则引擎做租赁合规扫描,给出可证明完整性的架构与可部署样例。

10月2日周五
  1. NVIDIA Blog60

    NVIDIA DGX Spark 推出 64GB 版本,支持本地运行 100B 参数模型

    NVIDIA 将于本月通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 推出 64GB 统一内存版 DGX Spark,保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈,可在本地运行最高 1000 亿参数模型。

    推荐理由:DGX Spark 新增 64GB 统一内存版本,可本地跑 100B 参数模型,两台通过 Sync 组成集群扩展到 128GB。

  2. NVIDIA Blog78

    NVIDIA GPU 加速 OpenAI GPT-6 Astra Ultrafast

    OpenAI 推出 GPT-6 Astra Ultrafast,运行在 NVIDIA Blackwell GPU 上,token 生成速度最高可达 Astra Standard 模式的 8 倍,现已通过 OpenAI API 向符合条件的 ChatGPT Work 和 Codex 用户开放。

    推荐理由:OpenAI 在 NVIDIA Blackwell 上推出 GPT-6 Astra Ultrafast 模式,token 生成最高快 8 倍,已通过 API 开放。