ChatGPT 不只是一个模型:从一次对话看大模型的系统工程

目录
谈起 ChatGPT,许多人的第一反应是一个参数规模庞大的 Transformer 模型。但在真实的生产环境里,单靠模型权重和 GPU 集群无法直接服务十亿级用户——它既管不了跨区域身份鉴权与高并发会话读写,也兜不住用户隐私隔离、工具安全调用以及模型版本的平稳迭代。
换句话说,大模型的生产能力不仅取决于模型本身,同样取决于分布式数据与隐私架构、GPU 推理系统和模型工程体系(MLOps / LLMOps)能否在系统边界上协同工作。作为一份面向开发者与架构师的大模型系统工程导读,本文以一次贯穿始终的“零售需求预测分析”对话请求为主线,结合 OpenAI 公开的 PostgreSQL、Habitat、数据隐私策略与 Prompt Caching 等一手工程资料,拆解这套大规模 AI 系统如何从单次请求延伸到完整的工程闭环与企业平台选型。
一、从一次对话看全局架构 #
无论是使用 ChatGPT、Claude,还是 DeepSeek、Kimi、通义千问等对话式 AI 助手,前端的交互方式都大同小异:打开网页或客户端,输入一个问题,几秒钟后屏幕上便开始逐字浮现回答;如果问题较为复杂,系统还可能检索网页、读取上传文件、运行 Python 代码,执行一系列工具操作后返回一份分析报告(下文以公开工程细节最丰富的 ChatGPT 为主要剖析对象)。
对屏幕前的用户而言,整个交互不过是“输入问题、等待几秒、读取回答”三步;但一旦切入软件工程与机器学习系统的视角,水面之下的调用链条便复杂得多。不妨看一个具体提问:
请分析一组零售需求预测实验,对比 TimesFM、LightGBM 和 XGBoost,并解释不同模型在促销、季节性和间歇性需求场景下的表现。
为了完成任务,ChatGPT 可能需要确认用户身份、读取上传的数据文件、结合历史对话或长期记忆构建模型上下文、调用代码执行工具、分析实验结果,再把生成的文字和图表逐步返回客户端。与此同时,许多读者还会关心另一组问题:我的账户配置和历史聊天记录究竟保存在哪里?上传的业务数据会不会进入模型训练?点击“删除对话”后服务端发生了什么?
把这些问题串联起来,就会浮现出一个核心工程命题:ChatGPT 如何把传统分布式软件架构、用户数据与隐私治理、大模型推理结合起来,形成一套可以持续训练、部署和运营的 AI 系统?
1.1 三大子系统与底层云生态 #
回答上述问题,需要把生产级 ChatGPT 拆解为三个相互关联、但工程目标不同的子系统:
- 分布式应用与数据系统(Distributed Application & Data System):管理用户账户、聊天记录、权限与隐私合规、工具调用及服务可靠性。
- 模型推理系统(LLM Inference System):在 GPU 等加速器上执行模型计算,把输入上下文转换为输出 Token。
- 模型工程系统(MLOps / LLMOps):管理模型训练、评估、部署、监控和持续更新。
需要说明的是,OpenAI 并没有公开 ChatGPT 的完整生产架构。本文使用两类材料:一类是 OpenAI 官方工程文章、API 文档和隐私与帮助中心已经确认的实现;另一类是根据这些资料和通用分布式系统原理构建的参考架构。对于尚未公开的内部细节,本文不作确定性判断。
在进入架构图之前,不妨先厘清一个读者常问的背景问题:OpenAI 与微软(Microsoft)、英伟达(NVIDIA)、甲骨文(Oracle)等巨头之间究竟是什么分工?为什么本文的全局参考架构图以微软 Azure 为底座? 根据各方发布的官方声明,ChatGPT 背后的底层基础设施并非由单一厂商包揽,而是形成了“核心云与数据底座 + GPU 算力硬件栈 + 多云算力扩展”的协同格局:
- 微软 Azure(核心云伙伴与已披露的在线数据库底座):微软自 2019 年起便是 OpenAI 的战略云合作伙伴。根据 2025 年 10 月更新的合作协议,OpenAI 的无状态 API 仍由 Azure 独家承载(第一方产品则具备多云部署空间)[1];OpenAI 早期曾公开披露在 Azure 上将研究用途的 Kubernetes 集群扩展至 7,500 个节点[2],而在 ChatGPT 在线生产系统中,已公开确认构建在 Azure 上的核心底座包括支撑 8 亿用户的 Azure Database for PostgreSQL[3] 以及支撑统一存储平台 Habitat 的 Azure Cosmos DB[4][5]。这也是图 1 选择以 Azure 云生态(如将容器编排、网关、检索等映射为 AKS、API Management、AI Search)作为参考架构底座的原因。
- 英伟达 NVIDIA(GPU 超算硬件与底层加速栈):无论是早期训练与推理使用的 A100 / H100 / H200,还是新一代 Blackwell 与 Vera Rubin 平台,ChatGPT 的核心大模型算力均构建在 NVIDIA GPU、NVLink / InfiniBand 高速互联网络与 CUDA 软件栈之上;2025 年 9 月,OpenAI 与 NVIDIA 进一步宣布达成部署至少 10 吉瓦(GW)NVIDIA 算力系统的战略合作[6]。
- 甲骨文 Oracle 与 AWS(多云算力集群扩展):随着算力需求突破单一云厂商的电力与机房上限,OpenAI 在“星际之门”(Stargate)计划中陆续引入甲骨文(Oracle)与 AWS 扩充多云算力(包括与甲骨文达成 4.5 GW 的算力合作)[7][8]。这里需要澄清一个常见误解:甲骨文虽以商业数据库闻名,双方也合作将 OpenAI 模型接入 Oracle 企业软件与数据库生态,但在 ChatGPT 自身的基础设施里,甲骨文主要提供搭载海量 NVIDIA GPU 的 OCI(Oracle Cloud Infrastructure)超算集群来扩展训练与推理算力[7],而 ChatGPT 在线业务的数据库底座依然是前文所述的 Azure PostgreSQL 与 Cosmos DB[3][4]。

图 1:基于 Azure 云生态构建的 ChatGPT 全栈参考架构与 MLOps 闭环(左侧标号 1–6 对应六大逻辑层;实线表示在线请求与实时数据流,虚线表示模型与配置发布控制流,点线表示监控、日志与反馈回流)。
如图 1(左侧第 1–6 层)所示,用户端负责交互,分布式应用与数据系统(第 2–4 层)负责请求编排与状态持久化,模型推理系统(第 5 层)负责执行高成本计算,而 MLOps 系统(第 6 层)则跨越在线与离线边界,管理模型及其运行环境的生命周期。图中除 PostgreSQL、Cosmos DB 与 GPU 集群等已公开确认的组件外,其余 Azure 托管服务(如 AKS、API Management、Blob Storage、AI Search、Data Factory 等)均为便于理解云端功能边界而作的参考映射;OpenAI 内部在在线数据层与缓存层还使用了自研的 Habitat 平台与 Valkey 缓存。
这种划分与传统互联网应用相似,但大模型引入了几项明显不同的约束。普通 Web API 的计算通常很短,可以在 CPU 上快速完成;大模型推理则可能需要数十亿甚至更多参数参与计算,而且请求到达时无法完全确定输出长度。因此,传统 Web 服务关注的请求吞吐、数据库连接和业务延迟,必须与 GPU 显存、Token 生成速度、Batch 调度和模型版本管理一起考虑。
1.2 流式响应与服务端编排 #
ChatGPT 的用户端可以是浏览器、移动 App 或桌面应用,负责管理交互状态、建立鉴权连接、上传消息与附件,并逐步渲染服务端返回的文本、代码、图表和工具执行状态。
用户端最关键的体验设计是流式响应(Streaming Response)。传统 HTTP API 通常在计算全部完成后才返回结果,而大模型可以把已经生成的内容逐步推送给客户端。OpenAI 的 API 文档公开提供这一能力,调用方可以在完整输出结束前持续接收增量事件[9]。如果完整回答需要 20 秒,非流式接口会让用户空等 20 秒,流式接口则让用户更早看到回答的开头。不过,用户看到第一个 Token 的时间并不等于任务完成时间:对于复杂 Agent,最终响应之前还可能发生多轮模型推理、网页检索和工具执行。另外,公开 API 支持某种传输协议,并不意味着 ChatGPT 所有客户端都采用相同的内部通信实现。
在服务端,一次典型请求可以拆解为六个逻辑步骤(真实系统可能并行读取数据、异步执行任务或在不同阶段持久化状态):
- 客户端请求(Client):发起对话请求并上传输入。
- 鉴权与准入控制(Authentication / Admission Control):验证身份、权限与速率限制。
- 会话与上下文组装(Conversation & Context Assembly):读取历史会话、长期记忆与相关配置。
- 模型选择与路由(Model Selection / Routing):匹配目标模型与计算节点。
- 推理服务与工具执行(Inference Service & Tool Execution):执行模型推理;若触发工具调用,则运行外部工具并将结果传回推理服务继续生成。
- 流式响应与客户端渲染(Streaming Response & Client Rendering):逐步推送生成的 Token 并在客户端渲染。
由此可见,服务端的关键工作不是简单转发 Prompt,而是将系统与开发者指令、用户当前输入、历史对话片段与长期记忆、多模态附件、工具定义与执行结果以及安全权限信息组装成模型实际处理的上下文。因此,需要严格区分三个容易混淆的概念:
| 概念 | 作用 | 主要工程问题 |
|---|---|---|
| 会话历史 (History) | 持久化用户多轮对话 | 一致性、权限与恢复 |
| 模型上下文 (Context) | 单次推理实际传入的输入 | 窗口长度、相关性与成本 |
| 键值缓存 (KV Cache) | 暂存可复用的注意力张量 | 显存容量、命中率与延迟 |
简言之,历史聊天记录既没有写进模型权重参数,也不等同于 GPU 显存里的 KV Cache。厘清这一边界,是理解后续数据架构与隐私机制的前提。
二、在线数据平台与隐私安全边界 #
如果只研究 Transformer,很容易忽略 ChatGPT 背后的分布式数据平台与隐私安全体系。用户登录、对话保存、记忆管理、权限校验和跨区访问,都依赖庞大的在线存储基础设施。对于第一章提到的多云与跨区域生产系统而言,真正困难的从来不只是复制无状态应用,而是如何管理关系型数据库、百 PB 级文档存储、全球缓存以及用户数据合规边界。
2.1 PostgreSQL 与 Habitat 存储底座 #
在底层存储架构上,OpenAI 公开了两套核心系统的演进实践:支撑强一致核心业务的 PostgreSQL,以及支撑超大规模在线状态访问的统一存储平台 Habitat。
2026 年 1 月,OpenAI 发布《Scaling PostgreSQL to power 800 million ChatGPT users》,展示其如何用关系型数据库支撑 8 亿用户的产品流量[3]。当时公开的架构采用单个 Azure PostgreSQL 主节点负责事务写入,配合分布在多个区域、接近 50 个的只读副本,支撑每秒数百万次查询[3]。这套架构能够扩展,关键在于对整条访问链路的协同治理:
- 连接池收敛连接开销:通过 PgBouncer 连接池复用数据库连接,避免海量应用实例频繁建连耗尽数据库资源[3]。
- 跨区只读副本与缓存分流:利用近 50 个跨区域只读副本和缓存层承担绝大多数高频读取流量[3]。
- 缓存租约防击穿(Cache Leasing):当热点键缓存未命中时加锁,只允许单个请求回源查询并回填缓存,防止高并发同时打穿数据库[3]。
- 读写负载按特征拆分:将可按分区键水平切分的高并发写入负载从 PostgreSQL 剥离,迁移至 Azure Cosmos DB[3]。
这也印证了一个分布式工程常识:如果缺少超时、限流、熔断和重试预算(Retry Budget),一旦缓存未命中导致数据库变慢,上游无节制的自动重试就会按“缓存未命中 → 数据库负载升高 → 请求超时 → 自动重试 → 负载继续升高”的链条放大成雪崩故障。
随着产品规模继续扩大,2026 年 9 月至 10 月,OpenAI 进一步公开了建立在 Azure Cosmos DB 等存储之上的统一在线存储服务平台 Habitat[4][5]。根据披露数据,Habitat 支持的产品每周服务超过 10 亿用户,平台每秒处理超过 7,000 万次存储请求(注:这是存储服务请求量,而非大模型推理请求量),管理超过 500 PB 数据,覆盖近 40 个地理区域[4]。

图 2:根据 OpenAI 公开工程文章与隐私文档构建的在线数据平台(PostgreSQL + Habitat)及用户数据隐私架构(实线表示在线同步读写流,虚线表示异步事件流与缓存失效流,红色点划线表示隐私隔离与 30 天物理删除边界)。
如图 2 所示,Habitat 的演进体现了三个典型的架构判断:
- 从客户端库到独立平台服务:Habitat 最初只是封装 Cosmos DB 访问的 Python 客户端库。当业务扩大后,分散在各服务中的连接维护、权限、序列化与缓存逻辑难以统一升级和排障,团队遂将其演进为独立平台服务,集中治理多租户隔离、热点键限流(Hot-Key Throttling)与请求优先级调度[4][5]。
- 根据真实瓶颈决定何时用 Rust 重写:OpenAI 早期选择 Python 以优先保证迭代速度,Python 版本在峰值时曾支撑每秒超过 2,000 万次请求;直到服务逻辑稳定、CPU 与内存开销成为主要限制后,团队才在 2026 年第二季度用 Rust 完成重写,使 CPU 效率提升约 6 倍、内存效率提升约 15 倍[4]。
- 用就近缓存与选择性复制化解跨区延迟:由于算力与存储未必位于同一区域,跨区域网络往返曾是读取延迟的主要来源。OpenAI 通过只对认证等小而关键的数据做广泛跨区复制、在计算节点所在区域部署 Valkey 缓存,并利用 Cosmos DB 变更流(Change Feed)实现秒级全局缓存失效,将 Habitat 全球读取中位延迟从约 120 毫秒压缩到约 10 毫秒[5]。这说明 AI 产品的交互延迟并不全部来自大模型,存储距离与调用链累积同样关键。
2.2 账户配置、聊天记录与记忆 #
理解了 PostgreSQL 与 Habitat 的分工,就可以清楚回答读者最关心的问题:我的账户配置、历史聊天记录和“记忆”究竟是怎么保存的?
在大型 AI 系统中,不同类型的数据具有截然不同的读写频率、一致性要求和体积特征。下表将 OpenAI 公开披露的存储架构与基于产品行为的工程推断整理为四层结构(表中显式区分“官方披露”与“工程推断”)[3][4][5]:
| 数据类别 | 典型内容 | 存储层与特征 | 依据 |
|---|---|---|---|
| 账户与权限 | 身份、订阅、工作空间 | PostgreSQL(强一致) | 官方披露[3] |
| 会话与偏好 | 聊天记录、指令、记忆 | Habitat / Cosmos DB | 披露+推断[3][4] |
| 多模态文件 | 文档、图片、代码产物 | Blob / 对象存储 | 工程推断 |
| 在线热状态 | 认证数据、热点状态 | Valkey 区域缓存 | 官方披露[5] |
第一层是账户与组织配置。登录邮箱、认证凭据、订阅等级(Free、Plus、Pro、Enterprise)、工作空间(Workspace)成员角色及账单状态,要求严格的事务一致性,存放在 PostgreSQL 等关系型数据库中,并通过全球只读副本与缓存支撑高频鉴权查询[3]。
第二层是历史聊天记录与个性化状态。OpenAI 公开指出,可按分区键扩展的高并发业务状态已迁移至由 Habitat 封装的 Azure Cosmos DB,并由 Habitat 统一处理序列化与多租户隔离[3][4][5]。结合产品特性可以合理推断,左侧边栏的会话列表、多轮问答内容、自定义指令(Custom Instructions)与已保存记忆(Saved Memories)均属于这一分区文档层;而且由于 ChatGPT 支持对同一问题“重新生成回答”或“编辑历史提问并产生新分支”,一条会话在数据结构上通常不是简单的线性文本追加,而是带有父子节点关系的消息树(Message Tree)。
第三层是多模态大文件(工程推断)。在前文的零售预测场景中,用户上传的 CSV 数据表、PDF 报告以及 Python 工具生成的图表,体积远大于普通文本;按照云原生系统的标准设计,文件本体存放在云端对象存储(Blob / Object Storage)中,而会话记录里只保存文件引用 ID、元数据与权限信息。
针对“模型能记住我的职业偏好,是不是把聊天记录写进了模型参数”这一常见疑问,需要严格区分“在线推理”与“离线训练”两个阶段:在日常对话的在线推理过程中,用户的聊天输入绝对不会实时修改线上大模型的权重参数(至于历史对话是否会在离线阶段被采纳用于后续模型迭代训练,则取决于 2.4 节讨论的账户类型与训练数据开关)。ChatGPT 的跨对话记忆依赖的是应用层与存储层维护的结构化上下文注入机制[10]:
- 自定义指令(Custom Instructions):用户在设置中显式填写的背景信息与回答风格要求。
- 已保存的记忆(Saved Memories):模型在交流中提炼出的简短事实摘要(如“用户熟悉 Python 和零售预测”),作为独立条目持久化在用户资料存储中。
- 近期历史会话参考(Reference Chat History):开启该选项后,系统在组装当前请求的 Model Context 时,会按需检索或注入过往会话的相关信息。
这也带来了两个管理个人隐私时必须了解的细节[10]:
- 关闭记忆功能不等于删除已有记忆:在
Settings -> Personalization -> Memory中关闭记忆开关,只会阻止系统继续创建或引用记忆,不会自动清空已保存的记忆条目。 - 删除单条聊天记录不会自动清除记忆摘要:如果某条记忆是从上周的对话中提炼出来的,仅在侧边栏删除那次对话,并不会自动删除已写入 Memory 列表的条目;用户需要在记忆管理界面单独删除该条目,或直接下达指令让模型忘记特定信息[10]。
2.3 数据保留、删除与临时会话 #
当用户希望主动控制个人数据的留存周期时,ChatGPT 提供了多级数据生命周期机制[11][12][13]:
- 常规与归档对话(Regular & Archived Chats):默认保存在账户下,直到用户手动删除。归档(Archive)只是将会话从侧边栏主列表中隐藏,不会删除数据或缩短保留时间[11]。
- 删除对话与 30 天清理窗口:用户点击删除后,该会话会立即从前端界面移除(且无法通过客服找回),并在最多 30 天内从后端系统永久清除[11]。官方文档注明了两类例外:一是数据在删除前已完成去标识化(De-identified)并与账户解绑;二是因安全调查、反欺诈或具有法律约束力的合规义务必须保留(例如 2025 年《纽约时报》版权诉讼期间,法院曾下达临时数据保全令,要求隔离保存特定时期的输出日志;该普遍保全要求已于 2025 年 9 月底终止,此后新产生的删除请求恢复标准 30 天清理流程)[11][14]。
- 临时会话(Temporary Chat):开启临时会话后,对话不会出现在历史记录中,不会读取或创建长期记忆,也不会用于训练模型;服务端仅出于安全与滥用监测目的保留副本最多 30 天,随后永久清除[12]。例如在开篇的零售需求预测场景中,若数据分析师使用个人账户快速验证一段脱敏脚本且不希望对话进入模型训练或污染长期记忆,便可直接开启临时会话。
- 独立文件与数据导出/注销:保存到个人 Library / Space 中的文件与单次会话解耦,删除聊天记录不会自动删除已独立归档的文件,需在文件视图中单独清理[11]。此外,用户可通过
Settings -> Data Controls或 OpenAI Privacy Portal 申请导出完整个人数据归档,或提交不可逆的账户永久注销请求[13]。
2.4 加密机制与训练数据边界 #
在安全与隐私合规层面,OpenAI 将防护体系划分为底层加密、训练数据控制与企业合规三道边界。
首先是传输与静态加密。根据 OpenAI 企业隐私文档,客户端与服务端以及内部服务之间采用 TLS 1.2+ 传输加密,静态保存的数据采用 AES-256 加密;对于高安全要求的企业客户,OpenAI 还提供企业密钥管理(Enterprise Key Management,EKM),允许企业使用自有密钥管理系统(KMS)控制加密密钥,并通过了 SOC 2 Type II 安全审计[15]。在存储平台内部,Habitat 的公开工程文章也证实其服务层在数据写入底层存储前统一接管了序列化与加密处理[4]。
其次是用户数据是否用于模型训练的默认边界,这也是个人账户与商业账户差异最大的地方[13][15][16]:
| 账户/模式 | 默认用于训练 | 控制与保留策略 | 合规与驻留能力 |
|---|---|---|---|
| 个人账户 | 是 | 可在数据控制中随时关闭 | 标准全球架构 |
| 临时会话 | 否 | 按会话开启,最多留 30 天 | 仅用于安全监测 |
| 商业账户 | 否 | 管理员配置保留期与权限 | 数据驻留、SOC 2、EKM |
| API 平台 | 否 | 组织级控制,支持零保留 | 数据驻留与合规审计 |
注:个人账户包含 Free、Plus 与 Pro;商业账户包含 ChatGPT Team、Enterprise 与 Edu。表中政策整理自截至 2026 年 11 月的 OpenAI 官方文档,具体条款可能随产品更新或所在司法辖区法规而调整[13][15][16]。
对于个人账户,系统默认开启“为所有人改进模型”(Improve the model for everyone)选项,用户可随时在 Data Controls 中关闭,关闭后的新对话不再进入训练管线[13]。对于允许进入训练管线的数据,系统会在训练前运行自动化隐私过滤工具(如 OpenAI Privacy Filter)与去重流程,以剔除个人身份信息(PII),并通过后训练让模型拒绝输出私密个人信息;人工审阅则严格限制在极少数经授权与审计的人员范围内,仅在排查安全滥用、响应用户主动反馈、履行法律义务或评估未退出训练的对话质量时按最小权限访问[16]。
最后是数据驻留(Data Residency)。针对受 GDPR 或行业监管约束的组织,ChatGPT Enterprise、Edu 和 API 平台支持指定静态存储区域(如欧盟、英国、美国、日本、新加坡、澳大利亚等),部分高阶层级还支持区域内推理(Inference Residency),确保静态存储与 GPU 推理计算均留在指定地理边界之内[15]。如果将视角切换到中国大陆的企业落地场景,合规边界则主要由《个人信息保护法》《数据安全法》《促进和规范数据跨境流动规定》与《生成式人工智能服务管理暂行办法》等共同界定:当向境外提供重要数据、或累计出境个人信息达到法定数量门槛(且不属于跨境履约等豁免情形)时,需依法履行数据出境安全评估、个人信息保护认证或标准合同备案;而直接面向中国境内公众提供具有舆论属性或社会动员能力的生成式 AI 服务,则需完成算法备案与生成式人工智能服务备案(企业仅在内部办公研发环境中调用合规接口、不向公众提供服务的场景,适用要求有所不同)。这也是国内金融、政企、医疗等受监管行业在落地零售或经营分析应用时,普遍优先选择境内合规云 API 或本地私有化部署的重要原因。
三、GPU 推理集群与 Agent 工作流 #
当请求完成鉴权、读取完历史会话与文件并组装好 Model Context 后,便真正进入第二大子系统——大模型推理集群与工具执行环境。
普通 Web 服务通常处理彼此独立的短请求,而自回归大语言模型(Autoregressive Large Language Model)需要基于输入上下文和已生成的 Token 逐步预测下一个 Token,这使推理系统同时受到计算密度、显存容量、请求长度和外部工具调度的制约。
3.1 推理阶段、KV Cache 与并行切分 #
如图 1 第 5 层(大模型推理层)所示,对于典型的自回归 Transformer,单次模型推理可划分为 Prefill(预填充)和 Decode(逐步解码)两个性质截然不同的计算阶段。
Prefill 阶段处理输入上下文。假设用户提交了一个包含 20,000 个 Token 的请求,模型需要一次性计算这些输入对应的隐藏表示和注意力(Attention)状态,具有很强的并行计算特征(Compute-bound)。Decode 阶段则负责逐步生成输出,对于当前 Token \(y_t\),模型预测:
\[ P(y_t\mid x,y_1,\ldots,y_{t-1}) \]其中 \(x\) 表示输入上下文,\(y_1,\ldots,y_{t-1}\) 表示此前已生成的输出。由于后一个 Token 依赖前面的输出,单靠增加 GPU 数量无法让一段输出中的所有 Token 完全并行生成(投机解码 Speculative Decoding 等技术可部分缓解,但不改变序列依赖本身),且 Decode 阶段更容易受到显存带宽与 KV Cache 访问的限制(Memory-bandwidth-bound)。
为了避免在每一步 Decode 时重复计算整个历史序列的 Key 和 Value,系统需要将中间状态保存在 KV Cache 中。对于使用常规多头注意力(Multi-Head Attention,MHA)或分组查询注意力(Grouped-Query Attention,GQA)的模型,其理论显存占用可近似估算为:
\[ M_{\mathrm{KV}} = 2 \times L \times B \times S \times H_{\mathrm{KV}} \times D \times b \]其中 \(L\) 为 Transformer 层数,\(B\) 为并发批次大小(Batch Size),\(S\) 为序列缓存的 Token 长度,\(H_{\mathrm{KV}}\) 为键值注意力头数(KV Heads),\(D\) 为单头维度(Head Dimension),\(b\) 为单个元素的字节数,系数 2 对应 Key 和 Value 两个张量。假设某模型具有以下参数:
| 参数 | 数值 |
|---|---|
| 网络层数 \(L\) | 48 |
| 并发批次 \(B\) | 16 |
| 上下文长度 \(S\) | 8,192 |
| KV 头数 \(H_{\mathrm{KV}}\) | 8 |
| 单头维度 \(D\) | 128 |
| 数值精度 \(b\) | BF16(2 字节) |
其理论 KV Cache 占用为:
\[ M_{\mathrm{KV}} = 2\times48\times16\times8192\times8\times128\times2\ \mathrm{B} \approx 24\ \mathrm{GiB} \]这里的 24 GiB 是 16 个并发请求的理论 KV Cache 总量,平均每个 8K 序列约占 1.5 GiB,且随并发数和上下文长度线性增长。不妨用一个直观对比体会这一数字的分量:一个 48 层、约 30B 参数规模的稠密模型,其 BF16 模型权重约为 60 GiB(采用 FP8 量化后约为 30 GiB);也就是说,仅 16 个 8K 请求的 KV Cache(24 GiB)就已经接近甚至追平量化后的模型权重本身。一旦上下文扩展到 64K 或并发请求数翻倍,KV Cache 占用的显存就会迅速反超模型权重,成为决定单机最大并发数的首要瓶颈。
为了在有限显存与带宽下支撑百亿至万亿参数模型,现代推理引擎在算子与集群架构上演化出了两类关键机制:
- 显存分页与状态压缩:vLLM 提出的 PagedAttention 借鉴操作系统虚拟内存分页思想,按块管理 KV Cache 以消除显存外部碎片[17];在此基础上,工程界广泛采用 FP8 / INT4 权重与 KV Cache 量化,或如 DeepSeek 等模型采用多头潜在注意力(Multi-head Latent Attention,MLA)从模型结构上大幅压缩 KV 状态体积。
- 多卡并行切分(TP / PP / EP):当单个 GPU 装不下完整权重与高并发 KV Cache 时,系统需要通过张量并行(Tensor Parallelism,TP)将单层矩阵乘法切分到多张具备 NVLink 等高速互联的 GPU 上,或通过流水线并行(Pipeline Parallelism,PP)按层切分模型;对于当今主流的混合专家模型(Mixture-of-Experts,MoE),由于每个 Token 仅激活部分专家子网,生产集群还会结合专家并行(Expert Parallelism,EP)将不同专家分布到不同计算节点,兼顾总参数容量与单 Token 计算开销。
3.2 前缀缓存、连续批处理与 PD 分离 #
KV Cache 解决的是单次请求内部的状态复用,提示词前缀缓存(Prompt Caching)则进一步实现跨请求的重复前缀复用。在前文的零售分析任务中,同一份上传数据的说明、系统指令和工具定义会在多轮分析中反复出现。OpenAI 的 Prompt Caching 文档说明,其机制直接复用匹配前缀对应的 KV 状态,而非仅缓存文本:提示词达到 1,024 个 Token 时自动启用;系统按前缀哈希将请求路由到可能持有缓存的计算节点,调用方也可传入 prompt_cache_key 提高命中率;缓存具有生命周期且严格按组织隔离[18]。
在批处理调度层面,不同请求的输出长度差异极大(例如请求 A 生成 20 个 Token,请求 B 生成 200 个 Token,请求 C 生成 1,000 个 Token)。如果采用静态 Batch 并要求整批同步结束,短请求就会被长请求长期拖住。连续批处理(Continuous Batching)采用迭代级调度(Iteration-level Scheduling):每生成一个 Token,已完成的请求即可立即退出 Batch,新请求可随时加入,从而显著改善混合长度负载下的 GPU 利用率与吞吐[19]。
不过,即便引入了连续批处理,如果一个长达数万 Token 的新请求直接插入正在解码的节点,其计算密集的 Prefill 阶段仍会阻塞同批次其他请求的 Decode 步进,造成输出卡顿。为此,现代推理系统进一步普遍采用分块预填充(Chunked Prefill),将长输入拆分为小块与 Decode 交错调度;在大规模集群(包括国内 Kimi Mooncake、DeepSeek 等公开的推理架构)中,还会采用 Prefill / Decode 分离部署(PD 分离),将计算密集的 Prefill 节点与访存密集的 Decode 节点解耦到不同资源池,通过高速网络传输 KV Cache,从而分别优化首字延迟(TTFT)与解码间隔(TPOT)。
评价推理系统时,工程团队通常需要同时监控以下核心指标:
| 指标 | 含义 |
|---|---|
| 首字延迟 (TTFT) | 从请求发出到收到首个 Token 的耗时 |
| 解码间隔 (TPOT) | 生成阶段相邻输出 Token 的平均间隔 |
| 端到端延迟 (E2E) | 一次请求从发起到全部完成的总耗时 |
| 系统吞吐 (Tokens/s) | 集群单位时间内生成的 Token 总数 |
| 排队延迟 (Queue Time) | 请求在调度队列中等待执行的时间 |
| 算力利用率 (GPU Util) | GPU 计算单元的实际繁忙比例 |
| 缓存占用率 (KV Util) | 显存中 KV Cache 块的使用比例 |
其中,TTFT 和 TPOT 直接决定用户对响应快慢的主观体感,吞吐量与资源利用率则决定平台的单 Token 算力成本。当然,连续批处理与 PagedAttention 属于现代大模型推理服务的通用技术方案,不能据此简单推断 OpenAI 所有内部生产模型均采用完全相同的开源实现。
3.3 从单次推理到 Agent 编排 #
当模型能够调用网页搜索、Python 代码执行和外部连接器时,一次对话就不再是单次推理,而是演变为图 1 第 3–4 层所示的多步骤分布式工作流(由 Agent Orchestrator 与 Tool Router 在模型推理和外部工具沙箱之间循环编排)。
在零售需求预测分析中,模型可能先检查 CSV 文件结构,再运行统计检验,随后调用绘图工具生成对比图,最后汇总文字报告。这意味着一次用户请求背后包含多轮模型调用,且系统状态同时横跨模型上下文与外部工具环境。
一旦模型调用外部接口执行写操作(如修改数据库、发送邮件或触发业务流程)并遭遇网络超时,服务端就必须处理经典分布式系统中的幂等性(Idempotency)、状态恢复与补偿事务问题:操作是否已实际生效?能否安全重试而不产生重复写入?是否需要用户二次确认授权?因此,Agent Orchestration 不能被简化为“循环调用大模型的脚本”——一个可靠的 Agent 系统,本质上是把非确定性的模型决策嵌入受约束、可观察、可恢复的分布式工作流。
此外,OpenAI 在 ChatGPT Agent 系统卡中重点讨论了外部环境访问带来的安全风险,尤其是提示词注入(Prompt Injection)[20]。当模型读取网页、文档或外部系统返回值时,其中可能夹带试图劫持模型行为的恶意指令。因此,外部非受信内容绝不能获得与系统指令同等的权限,高风险工具调用必须配备明确的授权边界、沙箱隔离与人工确认机制。
四、从模型训练到双层 LLMOps #
前两章沿着“一次零售预测请求”的在线生命周期,拆解了请求如何通过鉴权、在 PostgreSQL 与 Habitat 中读写状态,并在 GPU 集群上完成推理与工具调用。而在在线链路背后,还运行着决定模型与配置如何安全上线的第三大子系统——模型与应用的持续工程体系(MLOps / LLMOps)。OpenAI 并未公开其内部训练与发布平台的工程源码,本章结合公开学术论文、OpenAI 官方线上事故复盘以及行业通用的 MLOps / LLMOps 实践展开阐述。
4.1 预训练与后训练 #
如图 1 第 6 层(GPT 模型训练与 MLOps)所示,基础大模型的研发与交付构成了一条从数据接入、清洗标注、分布式预训练、后训练对齐、评估与红队测试,到模型注册、金丝雀灰度发布与线上监控回流的完整闭环。
其中,预训练(Pretraining)利用大规模语料建立模型的语言表示、世界知识与基础预测能力。对于自回归语言建模,常见优化目标是最小化下一个 Token 的负对数似然:
\[ \theta^* = \arg\min_{\theta} \mathbb{E}_{x\sim D} \left[ -\sum_t\log P_\theta(x_t\mid x_{\lt t}) \right] \]其中 \(\theta\) 为模型参数,\(D\) 为预训练语料分布,\(x_{\lt t}\) 表示位置 \(t\) 之前的上下文 Token 序列。这一阶段的核心工程挑战在于海量数据清洗与吞吐、大规模分布式训练、梯度同步、硬件故障自动恢复、Checkpoint 高效存储以及集群算力利用率。
后训练(Post-training)则进一步塑造模型的指令遵循、多步推理、工具调用与安全对齐能力。常见方法包括监督微调(Supervised Fine-Tuning,SFT)、偏好优化与强化学习(Reinforcement Learning,RL)。OpenAI 的 InstructGPT 论文早期展示了人类反馈强化学习(RLHF)如何提升指令遵循质量[21]。不过,不同代际和定位的模型会采用不同的后训练配方,不能将单一论文等同于所有线上模型的当前实现。
4.2 联合版本管理与灰度发布 #
在传统机器学习系统中,模型上线往往意味着把一个权重文件注册到 Model Registry 并部署为推理接口。但在大模型系统中,线上行为同时受六个层面的共同影响:
| 变更对象 | 可能引发的线上行为变化 |
|---|---|
| 模型权重 (Weights) | 基础能力、回答偏好与推理精度 |
| 推理运行时 (Runtime) | 吞吐性能、显存占用与数值稳定性 |
| 服务配置 (Serving Config) | 批大小、缓存路由、超时与并发上限 |
| 系统提示词 (System Prompt) | 指令遵循边界与回答语气风格 |
| 工具契约 (Tool Schema) | 函数参数格式与工具调用时机 |
| 应用代码 (App Code) | 上下文拼接、权限校验与工作流状态 |
这意味着,一次线上质量回归未必源于模型权重更新——哪怕权重完全不变,仅修改一段 System Prompt 或调整某个工具的 JSON Schema,都可能导致 Agent 行为发生显著偏移。因此,生产级 LLMOps 必须将模型权重、推理运行时、服务配置、System Prompt、工具 Schema 与应用代码纳入联合版本管理,并建立贴合真实业务场景的回归测试集(例如在零售分析场景中,专门检验模型能否识别训练集与测试集的时间泄漏、能否区分预测统计误差与库存决策损失、以及工具报错时能否正确降级恢复)。
OpenAI 自身在 2025 年 4 月底经历的一次真实线上回滚,恰好印证了这种多维耦合的风险:当时团队对 ChatGPT 中的 GPT-4o 推送了一次旨在改善互动体验的更新,由于在后训练强化学习中过度放大了基于用户点赞/点踩的短期反馈信号,并与记忆等候选改动叠加,弱化了原有的防迎合护栏,导致线上模型出现严重的“过度迎合”(Sycophancy)倾向——甚至对用户的不合理或冲动想法一味附和[22]。尽管该版本通过了原有的上线前离线评测,OpenAI 最终仍不得不紧急回滚至前一稳定版本,并随后将防迎合、长期交互质量与更严格的上线前拦截门禁纳入发布流程[22]。
当新版本准备上线时,即便它在离线 Benchmark 上得分更高,也不能直接全量替换旧模型。假设新模型在推理评测上提升了 5%,但单次请求成本增加 40%、工具调用格式合规率下降 3%、p95 延迟明显升高,对许多在线业务而言这就是一次不可接受的回归。工程上必须综合权衡任务质量(Quality)、安全性(Safety)、延迟(Latency)、可靠性(Reliability)和成本(Cost),通过灰度发布(Canary Deployment)分阶段推进:
- 离线评估(Offline Evaluation):在通用基准与业务专属回归集上完成离线验证。
- 预发布验证(Staging):在预发布环境中完成端到端链路与契约测试。
- 灰度流量(Canary Traffic):将小比例线上真实流量路由至新版本。
- 质量、安全与 SLO 门禁(Quality + Safety + SLO Gates):同时检验系统技术指标与业务回答质量;若触发门禁阈值则立即回滚(Rollback)。
- 渐进式放量(Progressive Rollout):门禁通过后按统计显著性要求逐步扩大流量比例。
- 全量投产(Production):完成切换并转入常态化线上监控。
这里有一条至关重要的运维原则:服务运行正常,不代表模型输出正确。 即使 GPU 没有 OOM、API 没有返回 5xx、延迟完全满足 SLO,模型仍可能输出存在事实幻觉的分析或调用错误的工具参数。因此,大模型监控必须将传统基础设施健康监控与在线语义质量抽样评估结合起来。
4.3 基础模型 MLOps 与应用层 LLMOps #
对于绝大多数企业而言,还必须厘清另一个战略边界:基础模型研发的 MLOps(Foundation Model MLOps)与大模型应用工程的 LLMOps(Application LLMOps)是两套截然不同的生命周期。
| 维度 | 基础模型 MLOps | 应用层 LLMOps |
|---|---|---|
| 核心对象 | 模型权重及训练过程 | Prompt、RAG、工具和 Agent |
| 数据 | 大规模训练与评估数据 | 业务知识、检索数据、评估集 |
| 发布单位 | 模型、运行时、推理配置 | 应用、工具、Prompt、模型配置 |
| 主要指标 | 能力、安全、训练与推理效率 | 任务成功率、质量、延迟、成本 |
| 主要风险 | 训练与部署回归 | 工具错误、数据权限、任务失败 |
| 典型团队 | 算法研究、训练系统与底层算力 | 应用工程、后端平台与产品团队 |
基础模型 MLOps 关注千卡级集群训练、对齐研究与底层算子优化,成本极高且周期漫长;而应用层 LLMOps 则在不改变底层模型权重的前提下,通过上下文工程、检索增强生成(Retrieval-Augmented Generation,RAG)、工具编排、权限管控与业务评估集快速迭代产品能力。两套生命周期通过模型版本接口耦合:基础模型的每一次升级,都可能要求应用层重新校验 Prompt 与工具调用契约。对于绝大多数不直接预训练基础模型的企业而言,由于底层模型能力已可通过商业 API 或开源权重获得,AI 产品能否稳定产生业务价值,往往更多取决于应用层 LLMOps 的工程成熟度。
五、系统权衡与企业平台落地 #
把前四章拼合在一起可以看到,生产级 AI 系统的复杂性不仅来自单个组件的技术深度,更来自不同子系统优化目标之间的天然冲突。
5.1 生产级系统的四组核心矛盾 #
分布式应用服务追求低延迟与高可用,数据平台追求高缓存命中率与合规隔离,GPU 推理集群追求高吞吐与高算力利用率,而 MLOps 追求高回答质量与安全稳健。这些局部目标之间存在四组典型的工程张力:
| 矛盾维度 | 局部目标 A | 局部目标 B | 系统权衡机制 |
|---|---|---|---|
| 吞吐与延迟 | 扩大 Batch 提吞吐 | 缩短排队与 TTFT | 按 SLO 限制动态批大小 |
| 缓存与负载 | 命中持有缓存节点 | 均匀分发防过载 | 负载水位 + 前缀亲和路由 |
| 数据与算力 | 就近存储与合规驻留 | 算力受机房电力约束 | 小数据复制 + 区域缓存 |
| 质量与成本 | 大模型与长思维链 | 控制费用与响应延迟 | 按复杂度分级路由 |
- 吞吐与延迟的权衡:扩大推理 Batch 可以提升集群总 Token 吞吐,但当 GPU 接近饱和时,更大的 Batch 会拉长排队时间(Queue Time)与每个 Token 的生成间隔(TPOT)。因此不能单凭 GPU Utilization 评判推理服务好坏,必须在满足 TTFT 与 TPOT 服务等级目标(SLO)的前提下优化吞吐。
- 缓存亲和性与负载均衡的权衡:负载均衡器希望将请求均匀分散到空闲节点,而 Prompt Caching 希望具有相同前缀的请求持续落到持有对应 KV 缓存的节点。若只看均匀分发,缓存命中率会大幅下降并造成重复 Prefill;若过度追求缓存亲和性,又会导致热点 GPU 节点过载,因此路由层必须综合负载水位与缓存收益做联合决策。
- 数据位置与算力容量的权衡:将数据存放在离用户更近或法规指定的区域,有利于降低访问延迟并满足数据驻留(Data Residency)要求;但大模型 GPU 集群受到严苛的电力、冷却和机房容量限制,无法在所有区域均等部署。OpenAI 在 Habitat 实践中正是通过“小体积认证数据广域复制 + 区域级 Valkey 缓存 + Change Feed 秒级失效 + 合规工作空间定向驻留”的组合策略,在物理约束下平衡全球体验[5][15]。
- 模型质量与系统成本的权衡:参数量更大或推理步数更多的模型通常在复杂任务上准确率更高,但也会成倍增加 Token 成本与端到端延迟。例如在零售预测工作流中,提取 CSV 列名或格式化字段只需轻量快速模型,而解释促销、季节性与间歇性需求下的模型残差机制才需要路由给高阶推理模型。在真实业务中,模型精度的提升必须转化为可衡量的业务收益——最好的生产模型未必是离线跑分最高的模型,而是在满足延迟、安全与预算约束下综合业务回报最高的模型。
5.2 主流大模型系统横向对比 #
如果把视野从 ChatGPT 扩展到 Google Gemini 与 Anthropic Claude,就会发现尽管各家底层硬件与云底座不同,但它们在已公开披露的系统能力上遵循着高度同构的分层逻辑[1][6][15][18][23][24][25][26]:
| 公开维度 | ChatGPT | Gemini | Claude |
|---|---|---|---|
| 云与算力合作 | Azure + OCI / AWS | Google Cloud | AWS + GCP |
| 已披露加速卡 | NVIDIA GPU 集群 | Google TPU + GPU | Trainium + TPU + GPU |
| 前缀缓存机制 | 自动前缀缓存 | 隐式 + 显式缓存 | 显式断点缓存 |
| 工具与协议 | 沙箱 / Responses | Vertex 扩展与工具 | MCP / Computer Use |
| 商用默认隐私 | 默认不训练 + EKM | 默认不训练 + CMEK | 默认不训练 + 托管隔离 |
注:上表仅汇总截至 2026 年 11 月各厂商官方文档与技术报告已公开证实的维度(未公开内部细节的在线会话存储层不作横向罗列)。其中 Google Gemini 原生基于 GCP AI Hypercomputer 与自研 TPU(如 TPU v5p、第六代 Trillium)构建训练与推理底座,并在 Vertex AI 上提供隐式与显式 Context Caching 及客户管理加密密钥(CMEK)[23][24];Anthropic 在 2025 年 10 月的官方公告中确认采用横跨 AWS Trainium、Google Cloud TPU 与 NVIDIA GPU 的三平台算力策略,且开源了模型上下文协议(MCP)[25][26]。
对照上表可以看出,无论是绑定单一云自研芯片(Gemini),还是跨云整合异构算力(ChatGPT、Claude),主流大模型产品都在解决同一组系统问题:用分布式存储管理会话状态、用 KV 前缀缓存降低重复计算、用沙箱与标准协议约束工具调用、用租户与密钥隔离保障企业隐私。理解这一共性,并不是要让每家企业都去复制一套管理 500 PB 数据的 Habitat 或自建万卡集群;相反,头部厂商最值得企业借鉴的经验,是按实际瓶颈分层解耦、逐步演进。
5.3 企业 AI 平台落地的三条准则 #
以一家希望落地零售需求预测与经营分析 Agent 的企业为例:企业并不需要从头预训练基础语言模型,真正需要解决的是如何把企业内部数据库、已有的销量预测模型(如 LightGBM / TimesFM)、Python 分析沙箱与业务审批流安全地连接起来,确保数据权限受控、分析结论可验证、且在底层模型升级时系统依然稳定运行。
对于已经具备传统数据与机器学习基础设施的企业,可以参考图 1 的分层解耦思想,遵循三条核心工程准则建设自己的 AI 平台:
- 通过 Model Gateway 将业务代码与模型解耦:业务应用不应硬编码绑定单一厂商的专有接口,也不应把所有业务逻辑塞进一个巨型 Prompt。通过统一的模型网关(Model Gateway)收口路由、限流、审计、降级与多模型切换,将业务工具、权限校验与状态管理留在受控的应用编排层。无论底层接入的是海外的 OpenAI、Anthropic、Gemini,还是国内主流的 DeepSeek、通义千问(Qwen)、Kimi 等模型服务,统一的网关契约都能让业务层在不重写应用代码的前提下按任务复杂度与合规要求灵活切换模型。
- 审慎决策托管 API 与自建 GPU 集群:如果企业的核心竞争力在于领域数据、业务知识与工作流,且商业级 API 已能满足“默认不训练客户数据、TLS/AES 加密传输存储与区域合规驻留”的要求,那么优先采用托管模型 API 能让团队把精力集中在高价值的业务评估与 Agent 可靠性上。只有当极端的数据内网隔离法规、专属微调模型、超高并发成本或极致延迟要求足以证明自运维的价值时,才值得投入建设基于 vLLM、SGLang 或 NVIDIA Triton Inference Server 的自托管推理平台(例如采用 Qwen、DeepSeek 等开源权重);若国内政企或金融团队需要部署在昇腾(Ascend)等国产加速卡集群上,还需在网关之下额外评估
vLLM-Ascend、MindIE 等异构推理运行时的算子兼容性与显存调度表现。 - 统一治理标准,而非强行统一运行环境:不要试图把所有 AI 能力塞进同一个运行时。传统表格预测模型(如 LightGBM 批量预测)不需要 GPU Token Scheduler,而实时交互式 Agent 也不适合沿用离线 Batch Inference 管道。企业平台应当在顶层统一身份权限、数据安全、实验追踪、评估门禁与可观测性标准,而在执行层允许传统机器学习、RAG 检索与大模型推理各自采用最匹配的算力与框架:
| 能力层级 | 企业可评估的参考技术栈 |
|---|---|
| Web 与服务接口 | React、FastAPI、Go |
| Agent 与工作流编排 | Temporal、LangGraph、定制状态机 |
| 关系型数据库与缓存 | PostgreSQL、Redis / Valkey |
| 模型网关与自托管推理 | 内部 Model Gateway、vLLM、SGLang、NVIDIA Triton、vLLM-Ascend / MindIE |
| 容器编排与持续交付 | Kubernetes、GitHub Actions、Argo CD |
| 实验管理、观测与评估 | MLflow、OpenTelemetry、Prometheus、Grafana、业务回归评测集 |
注:上表为企业建设 AI 平台时可评估的常见开源或托管技术栈,不代表 OpenAI 内部实际使用了表中的所有组件。
六、结语:AI 工程能力在系统边界 #
回到开篇那次“零售需求预测分析请求”,不妨结合前文已公开的组件与本文参考架构,做一次示意性的端到端全链路推演(注:以下为融合公开资料与参考架构的教学示意,非 OpenAI 披露的内部调用时序):
- 接入与状态读取(在线同步路径):客户端经 TLS 加密连接通过接入与鉴权层,利用 PostgreSQL 只读副本或就近缓存校验身份与配额[3];随后通过 Habitat(全球读取中位延迟已降至约 10 ms[5])及对象存储读取历史会话分支、已保存记忆与上传的零售 CSV 元数据,组装出当前请求的 Model Context。
- GPU 推理与工具循环(计算与沙箱路径):请求按前缀哈希与负载水位路由至推理集群,优先复用 Prompt Cache 中的 KV 状态[18],经 Prefill 计算后进入连续批处理解码循环并流式推送 Token[9][19];当触发 Python 代码执行时,编排层在隔离沙箱中运行脚本对比 TimesFM 与 LightGBM 的误差分布,再将结果回填上下文开启下一轮生成。
- 持久化、隐私治理与 MLOps 闭环(异步与后台路径):响应完成后,会话状态经序列化与加密写入底层存储,并通过 Cosmos DB Change Feed 在秒级内刷新跨区缓存[4][5];后台管道按账户类型执行训练隔离、PII 脱敏与最多 30 天的删除清理窗口[11][15][16],而线上质量抽样与遥测指标则回流至 MLOps / LLMOps 门禁,驱动下一轮灰度迭代。
OpenAI 公开的 PostgreSQL、Habitat 与数据隐私实践揭示了一个容易被忽视的工程事实:即使拥有最前沿的大模型和庞大的 GPU 集群,关系型数据库、分布式文档存储、就近缓存、连接池、加密与数据控制边界,依然是整个 AI 产品可靠运行与赢得用户信任的基石。与此同时,大模型推理特有的显存瓶颈与非确定性输出,又迫使传统软件工程与机器学习工程在系统边界上深度融合。
因此,生产级 AI 系统最核心的工程能力,从来不是孤立地把某一个模型跑得更快,而是深刻理解三大子系统之间的耦合与约束关系:如何在任务质量、交互延迟、系统吞吐、服务可靠性、隐私安全与综合成本之间,持续找到符合业务目标的系统级最优解。
参考文献 #
[1] OpenAI. The Next Chapter of the Microsoft–OpenAI Partnership. OpenAI, October 28, 2025. https://openai.com/index/next-chapter-of-microsoft-openai-partnership/
[2] OpenAI. Scaling Kubernetes to 7,500 Nodes. OpenAI Research, January 25, 2021. https://openai.com/index/scaling-kubernetes-to-7500-nodes/
[3] Zhang, B. Scaling PostgreSQL to Power 800 Million ChatGPT Users. OpenAI Engineering, January 22, 2026. https://openai.com/index/scaling-postgresql/
[4] Lee, J., Yu, C., & Ries, B. Rapidly Scaling Online Storage to Serve Over 1 Billion ChatGPT Users (Part I). OpenAI Engineering, September 11, 2026. https://openai.com/index/scaling-storage-one-billion-users-part-one/
[5] Lee, J., Hakobyan, H., & Yu, C. Rapidly Scaling Online Storage to Serve Over 1 Billion ChatGPT Users (Part II). OpenAI Engineering, October 23, 2026. https://openai.com/index/scaling-storage-one-billion-users-part-two/
[6] OpenAI. OpenAI and NVIDIA Announce Strategic Partnership to Deploy 10 Gigawatts of NVIDIA Systems. OpenAI, September 22, 2025. https://openai.com/index/openai-and-nvidia-announce-strategic-partnership-to-deploy-10-gigawatts-of-nvidia-systems/
[7] OpenAI. Stargate Advances with 4.5 GW Partnership with Oracle. OpenAI, July 22, 2025. https://openai.com/index/stargate-advances-with-partnership-with-oracle/
[8] OpenAI. AWS and OpenAI Announce Multi-year Strategic Partnership. OpenAI, November 3, 2025. https://openai.com/index/aws-and-openai-partnership/
[9] OpenAI. Streaming API Responses. OpenAI API Documentation. https://developers.openai.com/api/docs/guides/streaming-responses
[10] OpenAI. Memory FAQ. OpenAI Help Center. https://help.openai.com/en/articles/8590148-memory-faq
[11] OpenAI. Chat and File Retention Policies in ChatGPT. OpenAI Help Center. https://help.openai.com/en/articles/8983130-chat-and-file-retention-policies-in-chatgpt
[12] OpenAI. Temporary Chat FAQ. OpenAI Help Center. https://help.openai.com/en/articles/8914046-temporary-chat-faq
[13] OpenAI. Data Controls FAQ. OpenAI Help Center. https://help.openai.com/en/articles/7730893-data-controls-faq
[14] OpenAI. Addressing the New York Times’ Data Demands. OpenAI, 2025. https://openai.com/index/response-to-nyt-data-demands/
[15] OpenAI. Enterprise Privacy at OpenAI. OpenAI. https://openai.com/enterprise-privacy/
[16] OpenAI. How Your Data Is Used to Improve Model Performance. OpenAI Help Center. https://help.openai.com/en/articles/5722486-how-your-data-is-used-to-improve-model-performance
[17] Kwon, W., et al. Efficient Memory Management for Large Language Model Serving with PagedAttention. SOSP, 2023. https://arxiv.org/abs/2309.06180
[18] OpenAI. Prompt Caching. OpenAI API Documentation. https://developers.openai.com/api/docs/guides/prompt-caching
[19] Yu, G.-I., Jeong, J. S., Kim, G.-W., Kim, S., & Chun, B.-G. Orca: A Distributed Serving System for Transformer-Based Generative Models. OSDI, 2022. https://www.usenix.org/conference/osdi22/presentation/yu
[20] OpenAI. ChatGPT Agent System Card. 2025. https://cdn.openai.com/pdf/839e66fc-602c-48bf-81d3-b21eacc3459d/chatgpt_agent_system_card.pdf
[21] Ouyang, L., et al. Training Language Models to Follow Instructions with Human Feedback. NeurIPS, 2022. https://arxiv.org/abs/2203.02155
[22] OpenAI. Sycophancy in GPT-4o: What Happened and What We’re Doing About It. OpenAI, April 29, 2025. https://openai.com/index/sycophancy-in-gpt-4o/
[23] Google DeepMind. Gemini 4 Argon Model Card; Gemini Team. Gemini: A Family of Highly Capable Multimodal Models. 2023–2026. https://deepmind.google/models/model-cards/gemini-4-argon/; https://arxiv.org/abs/2312.11805
[24] Google Cloud. Trillium (TPU v6e), Vertex AI Context Caching & Data Governance Documentation. Google Cloud, 2025–2026. https://cloud.google.com/tpu/docs/v6e; https://cloud.google.com/vertex-ai/generative-ai/docs/context-cache/context-cache-overview; https://cloud.google.com/vertex-ai/generative-ai/docs/data-governance
[25] Anthropic. Expanding Our Use of Google Cloud TPUs and Services. Anthropic News, October 23, 2025. https://www.anthropic.com/news
[26] Anthropic. Prompt Caching with Claude & Model Context Protocol (MCP). Anthropic News, 2024–2025. https://www.anthropic.com/news/prompt-caching; https://www.anthropic.com/news/model-context-protocol