AI 工程实践
将模型、检索、工具、训练和评测接入可维护的应用。
从一个可交付请求开始
AI 应用需要把输入、模型输出和外部效果连成可检查的链路。一次问答至少经过身份与预算检查、输入组织、模型调用、输出验证和结果保存;带检索或工具的任务还需要记录资料版本、工具参数及执行结果。本专题面向会基本 TypeScript 或 Python 的应用开发者,说明这些环节怎样接线、怎样处理失败,以及上线前需要核对什么。
最小系统可以由一个服务端端点、一个模型客户端和一份输出 schema 组成。先使单次请求闭合,再按真实需求增加持久会话、检索、工具循环和后台任务。多种框架提供相同能力时,选择一套负责运行状态,避免重复保存消息、预算和检查点。
组件在哪里运行
| 组件 | 运行位置 | 保存或执行的事实 |
|---|---|---|
| 对话界面 | 浏览器或客户端 | 当前输入、展示状态、取消操作、工具审批反馈 |
| 请求服务 | 服务端 | 用户身份、授权、请求身份、限流、输入预算 |
| 模型客户端或网关 | 服务端 | 厂商调用、超时、重试、usage、模型与端点配置 |
| 检索服务 | 服务端或受控本地进程 | 可访问文档、版本、过滤条件、候选及引用定位 |
| 工具执行器 | 受控进程或隔离环境 | 参数验证、权限、幂等记录和真实外部效果 |
| 任务与观测存储 | 持久服务 | 运行状态、恢复点、轨迹、评测结果 |
密钥保存在服务端配置或密钥服务。浏览器请求应用自己的接口;需要实时音视频直连时,按供应商协议使用短期凭据,并限制会话权限。客户端提交的角色、用户标识和审批结论都需由服务端结合已认证会话核对。
按实现任务阅读
模型接入与输出验证覆盖 SDK 与应用契约。对话界面连接消息、传输和取消。检索接线连接文档、权限与引用。工具与持久任务处理 MCP、审批和外部效果。模型适配实验组织训练、评测与产物。模型服务与容量处理引擎、缓存、量化与路由。评测、观测与部署建立回归与预算闭环。
代码片段是接口接线示例,模型名、凭据和数据由部署环境提供。本轮完成文档与官方接口核对,未调用付费模型、执行训练、启动推理服务或验证浏览器交互;片段不能据此称为已运行的示例项目。
版本和证据边界
正文整合 2026-10-02 至 10-03 的 TS/Python 技术栈归档,并在相关段落注明本轮官方文档核查。安装时固定依赖版本及锁文件,记录 Python/Node、框架、驱动和模型 revision;同名 SDK、协议和云产品的版本需分别记录。工具选型及维护状态的比较见AI 技术生态调研。
模型接入与输出验证
会话界面与流式状态
知识库与引用实现
工具与工作流实现
模型适配实验
推理服务与容量规划
评测、观测与部署
最后更新于