某区移动污染源智慧监管系统建设三期项目于 2026 年 6 月签订合同,其中包含「AI 数字机器人」1 套。该模块要求整合车辆数据、法规文件等建成知识库,支持快速查询、多格式数据处理与多部门系统协同,自动生成政策讲解稿,支撑非现场执法的精准决策;硬件形态为 65 英寸级数字人一体机,要求本机渲染、多模态交互、PPT 讲解与大屏播控。
集成方已自行采购一台联想数字人一体机(安卓系统,RK3568 级平台,无触摸)。目前的软件方案为:语音识别与合成调用科大讯飞 API,对话应答调用豆包大模型 API,数字人形象在设备本机播放。该方案已完成基本演示,但未获客户方认可。
客户方明确提出,应当采用本地部署大模型的方式,以本地现有的政策文件、PPT 介绍等资料对模型进行「训练」,使数字人能够基于本地知识作出准确回答。其关切可以拆解为三层:
| 关切 | 客户方的实际担忧 | 对应的技术命题 |
|---|---|---|
| 合规 | 政策文件、执法数据上传至公网大模型,是否构成数据外流 | 推理本地化 + 敏感数据不出内网 |
| 效果 | 通用大模型不了解本地政策,回答空泛甚至编造,无法用于执法场景 | 本地知识库 + 检索增强 + 回答附出处 |
| 可靠 | 断网、限流、API 涨价或停服,数字人就成废铁 | 全链路本地可运行,断网仍可用 |
这三条看似是三个问题,实则指向同一件事:算力必须落到客户侧。这不是更换一个 API 能够解决的,需要在现有设备之外新增边缘推理服务器,形成「端(一体机)—边(服务器)—库(知识库)」的三层结构。
本次会议须形成五项可交付结论,缺一不可:
| 序 | 目标 | 判定标准(做到什么程度算达成) |
|---|---|---|
| 1 | 统一技术边界 | 明确「本地化」覆盖范围:大模型推理、知识库、语音识别与合成,三项分别是否必须本地,形成书面结论 |
| 2 | 确定硬件选型路线 | 在昇腾(信创)与 NVIDIA(生态)之间给出倾向意见,或确定双路线并行报价 |
| 3 | 锁定性能指标口径 | 并发数、上下文长度、单路生成速度、首字时延四项指标给出明确数值,不留模糊表述 |
| 4 | 厘清知识注入方式 | 确定以检索增强(RAG)为主路径,是否叠加轻量微调,以及对外如何向客户解释 |
| 5 | 明确分工、节点并表决工期 | 两方任务界面清晰到「谁在什么时间交什么东西」,形成任务表并当场确认责任人;就 14 天压缩节奏是否采纳形成决议 |
六个议题按逻辑递进排列,每项均标注待决策点,请各方带着意见入场,不做无准备讨论。
客户方表述为「用政策文件和 PPT 对模型进行训练」。工程上需要区分两条路径,二者成本、周期、效果差异很大:
| 路径 | 做法 | 优势 | 局限 |
|---|---|---|---|
| 检索增强 推荐主路径 |
文档解析 → 分块 → 向量化入库;提问时检索相关片段,连同问题一起交给模型生成 | 资料更新即生效;回答可附出处;不改变模型本身,幻觉可控 | 依赖检索质量;对跨文档归纳类问题稍弱 |
| 微调(LoRA) | 用问答对数据对模型做轻量参数调整 | 更贴合特定表达风格与话术 | 需构造训练集;知识仍会过时;无法给出出处;每次更新要重训 |
「本地部署」在实际工程中有三种粒度,覆盖范围不同,成本相差数倍,必须当场划清:
| 粒度 | 覆盖内容 | 说明 |
|---|---|---|
| 推理本地 必须 | 大模型在本地位于客户内网的服务器上运行 | 客户诉求的核心,也是本次会议的主要议题 |
| 知识库本地 必须 | 政策文件、PPT、案例库全部存储于本地,检索在本地完成 | 原始文档不出内网,这是合规的底线 |
| 语音本地 建议 | 语音识别与合成改用本地模型(如 FunASR、CosyVoice) | 若保留云端语音,音频仍需出网,可能成为合规缺口 |
据此形成目标架构:联想一体机(端)负责形象渲染与交互呈现 → 局域网调用边缘服务器(边)完成语音识别、知识检索、大模型生成、语音合成 → 全部过程不出客户内网。现有设备不需更换,仅作为端侧载体,算力由新增服务器承担。
汇壹智慧已提供《端侧算力服务器客户需求表》,核心配置如下(详见附件):
| 类别 | 表内配置 |
|---|---|
| 计算 | 鲲鹏 CPU 24 核;内存 64GB;Atlas 300I A2 64GB × 2 卡 |
| 存储 | NVMe 4.0 系统盘(2 块 RAID 1);2×1TB SATA + 2×4TB SATA 数据盘 |
| 网络 | 2×2.5GbE 电口,可选 10G/25G 光口;IPMI/BMC 独立管理口 |
| 系统 | Ubuntu 22.04 LTS,Docker 容器化,风冷,满载 ≤85dB |
以 Qwen3-32B、W4A16 量化估算(权重约 20GB),KV Cache 按每 token 约 256KB 计算,不同上下文长度下的显存占用如下:
| 组合 | 模型权重 | KV Cache | 合计显存 | 2×64GB 可行性 |
|---|---|---|---|---|
| 20 路 × 8K 上下文 | 20 GB | 约 40 GB | 60 GB | 可行,余量充足 |
| 20 路 × 32K 上下文 | 20 GB | 约 160 GB | 180 GB | 不可行 |
| 20 路 × 128K 上下文 | 20 GB | 约 640 GB | 660 GB | 完全不可行 |
知识库质量决定最终效果,其工作量常被低估。需明确以下边界:
| 环节 | 内容 | 建议责任方 | 要点 |
|---|---|---|---|
| 语料提供 | 政策文件、PPT、执法案例、车辆数据字典 | 客户方提供,我方协助梳理 | 需明确交付格式与完整性 |
| 解析清洗 | PDF/Word/PPT 抽取、表格还原、去噪 | 音容元 | 扫描件需 OCR,PPT 需抽取备注页 |
| 分块与向量化 | 按语义分块、元数据标注、入库 | 音容元 | 分块策略直接影响检索命中率 |
| 数据分级 | 公开级 / 内部级 / 敏感级分流 | 音容元设计,客户确认 | 敏感级仅在本地处理,日志不外传 |
| 效果验证 | 构造 200 条问答对,测命中率与准确率 | 音容元主责,客户参与评审 | 无出处的回答按错误计 |
存量联想一体机予以保留,作为端侧显示与交互载体,需完成三件事:解除或绕过系统对第三方应用的安装限制、开放与边缘服务器的通信、适配原有数字人形象的播控。若设备确实无法安装应用,则退化为「显示器 + 外接小主机」形态,仍不影响整体方案成立。
工期是本次会议的正式议题,不是会后的执行细节。我方倾向将「技术方案 → 客户澄清 → 样机 → 实测 → POC → 商务定稿」整体压缩至 14 天(详见第七节对比表)。压缩能否成立,取决于三个前提,须逐项确认:
| 压缩前提 | 现状 | 需确认事项 |
|---|---|---|
| 样机交期 | 需求表承诺 2 周 | 能否压到 6 天?以现货机型替代定制配置是否可接受 |
| 并行度 | 知识库与硬件部署原为串行 | 样机未到期间,知识库构建与端侧改造能否先行 |
| 客户配合 | 语料尚未到手 | 能否在 D+2 前拿到首批政策文件与 PPT |
本次会议形成的技术判断,对外须以统一口径表达,避免两方说法不一致引发客户疑虑。
| 客户可能的表述 | 我方回应要点 |
|---|---|
| 「要用我们的资料训练模型」 | 我们采用知识库注入 + 检索增强的方式,效果上等同于让模型学会了你们的资料,而且资料一更新立即生效,比训练更快;每一条回答都会标注出自哪份文件的哪一段,便于核对。 |
| 「数据不能传到外面」 | 大模型、知识库、语音识别与合成都部署在本地服务器,全程不出内网。可以在演示时直接拔掉网线,数字人仍能正常回答政策问题。 |
| 「云端 API 也能用,为什么不用」 | 云端方案在演示阶段没问题,但存在三个风险:数据出网、断网即失效、资费与接口随时可能变化。本项目用于执法支撑,这三条都必须提前排除。 |
| 「为什么要加一台服务器」 | 大模型本地运行需要专用算力,现有数字人一体机是显示与交互终端,不具备这个能力。服务器放在机房,一体机通过内网调用,前端形态与位置都不变。 |
| 「多久能用上」 | 样机两周内到位,完成部署与实测后再进现场。演示当天可断网验证,这是最直接的证明。 |
| 任务 | 责任方 | 配合方 | 交付物 | 时限 |
|---|---|---|---|---|
| 总体技术方案 | 音容元 | 汇壹智慧 | 《本地化部署技术方案 V1》,含架构图、数据流、接口定义 | D+1 |
| 知识注入方式说明 | 音容元 | — | 面向客户的《知识库构建与检索增强说明》,替代「训练」表述 | D+1 |
| 硬件配置定稿与报价 | 汇壹智慧 | 音容元 | 正式配置单 + 报价单,昇腾与 NVIDIA 双路线各一份 | D+1 |
| 软件栈澄清 | 汇壹智慧 | — | 书面确认 CANN/MindIE 版本与模型适配清单,纠正表内 CUDA 表述 | D+1 |
| 模型选型与量化方案 | 音容元 | 汇壹智慧 | 模型清单、显存与吞吐测算表 | D+1 |
| 样机提供与部署 | 汇壹智慧 | 音容元 | 样机到货、系统与推理环境就绪 | D+6 |
| 性能实测 | 汇壹智慧 | 音容元 | 实测报告:首字时延、单路 t/s、并发稳定性、显存占用 | D+8 |
| 知识库构建与调优 | 音容元 | — | 知识库 v1、200 条问答对测试结果 | D+10 |
| 端侧改造与集成 | 音容元 | 汇壹智慧 | 一体机接入边缘服务,交互链路打通 | D+10 |
| POC 演示 | 音容元 | 汇壹智慧 | 本地问答 + 数字人播报 + 断网演示 | D+12 |
| 商务方案与合同 | 音容元 | 汇壹智慧 | 整体报价、交付计划、质保条款 | D+14 |
以下节点为压缩后的建议方案,是议题六的讨论材料,不是既定安排。会上逐项确认后,方作为双方考核依据。
| 阶段 | 常规节奏 | 压缩目标 | 压缩手段 |
|---|---|---|---|
| 技术方案与报价 | D+3 | D+1 | 套用标准架构模板,配置单复用现成方案,不重新设计 |
| 客户技术澄清 | D+5 | D+2 | 与文档定稿并行推进,不等最终版;先讲结论再补材料 |
| 样机到货与部署 | D+14 | D+6 | 以现货机型替代定制配置;系统镜像与推理环境提前预装 |
| 性能实测 | D+17 | D+8 | 与知识库构建并行,先测四项核心指标 |
| 知识库与端侧集成 | D+20 | D+10 | 语料分批入库,先覆盖高频问答 200 条,其余滚动补充 |
| POC 演示 | D+24 | D+12 | 先打通主链路,边缘功能(播控、二维码)后补 |
| 商务方案定稿 | D+28 | D+14 | 报价与合同条款同步准备,不等技术收尾 |
以下问题分两类,A 类当场确定,B 类会后由我方统一向客户确认,不在本次会议讨论。
| 序 | 问题 | 答复方 | 备注 |
|---|---|---|---|
| A1 | 选型路线:昇腾单路线、NVIDIA 单路线,还是双路线并行报价 | 汇壹智慧 | 影响交付周期与信创合规 |
| A2 | Atlas 300I A2 的软件栈究竟是 CANN/MindIE 还是 CUDA/TensorRT;表内表述是否笔误 | 汇壹智慧 | 必须先澄清 |
| A3 | 模型型号:Qwen3-32B 还是其他;量化方式 W4A16 或 FP8 | 音容元 | 影响显存与速度 |
| A4 | 性能指标口径:并发数、单路上下文长度、单路 t/s、首字时延 | 双方 | 作为对外承诺值 |
| A5 | 语音识别与合成是否一并本地化 | 音容元 | 合规完整性 |
| A6 | 样机部署地点与到货时间(表内承诺 2 周) | 汇壹智慧 | 影响 D+6 节点,能否压缩至 6 天 |
| A7 | 报价模式:整机买断、租赁,或分期 | 汇壹智慧 | 影响客户预算安排 |
| A8 | 一体机改造由哪方主导;若无法安装应用,是否接受外接主机形态 | 音容元 | — |
| 序 | 问题 | 为何重要 |
|---|---|---|
| B1 | 是否强制要求信创(昇腾 / 鲲鹏) | 决定选型路线,影响成本与工期 |
| B2 | 「本地部署」是否必须覆盖语音链路 | 若允许语音上云,成本可下降 |
| B3 | 语料由谁提供、由谁脱敏、以何种格式交付 | 直接影响知识库工期 |
| B4 | 是否要求出具「数据不出内网」的书面证明或第三方测评 | 可能需要增加合规工作量 |
| B5 | 验收指标是否接受「回答须附出处」的设计 | 决定产品形态与测试方式 |
| B6 | POC 演示是否可作为阶段性验收依据 | 影响回款节奏 |
以下为汇壹智慧提供的原始需求表内容整理,供会议对照使用。表中标注 待澄清 的条目,见议题三、四。
| 类别 | 项目 | 配置 / 描述 |
|---|---|---|
| 一、整机与部署 | 部署环境 | 办公区域 |
| 主要业务场景 | 边缘 AI 推理 | |
| 模型需求 | 「Qwen 3.8 27B」,20 并发,128K 上下文,总吞吐 20 t/s 待澄清 | |
| 采购数量 | 1 台 | |
| 期望交付 | 2 周 | |
| 二、计算配置 | CPU | 鲲鹏,24 核 |
| 内存 | 64 GB | |
| GPU | Atlas 300I A2 64GB | |
| GPU 数量 | 2 卡 | |
| 软件栈 | 表内填 TensorRT / CUDA / cuDNN 待澄清 | |
| 三、存储 | 系统盘 | NVMe 4.0 2280,2 块 RAID 1 |
| 数据盘(1) | 1TB SATA × 2 | |
| 数据盘(2) | 4TB SATA × 2 | |
| RAID | 2 块系统盘 RAID 1 | |
| 四、网络 | 电口网卡 | 2 × 2.5GbE |
| 光口网卡 | 可选 10G / 25G | |
| 远程管理 | IPMI / BMC 独立管理口 | |
| 五、散热与系统 | 散热 | 风冷,满载 ≤85 dB @25℃ |
| 操作系统 | Ubuntu 22.04 LTS | |
| 容器 | Docker | |
| 运维监控 | BMC 健康监控 |
| 序号 | 单位 | 姓名 | 职务 / 角色 | 签名 |
|---|---|---|---|---|
| 1 | 音容元数字科技 | 负责人(主持) | ||
| 2 | 音容元数字科技 | 产品 | ||
| 3 | 音容元数字科技 | 算法 | ||
| 4 | 音容元数字科技 | 交付 | ||
| 5 | 汇壹智慧 | 曾总 | 总经理 | |
| 6 | 汇壹智慧 | 技术负责人 | ||
| 7 | 汇壹智慧 | 售前 / 方案 | ||
| 8 |